圖2 小樣本目標檢測及其相似任務的區別與聯系圖 2 從數據流向的角度展示了小樣本目標檢測及其相似任務之間的區別與聯系
圖2 小樣本目標檢測及其相似任務的區別與聯系
小樣本目標檢測中的三個核心問題：過擬合、域偏移和數據及分布偏差。
過擬合。小樣本目標檢測的核心問題之一是過擬合。當新類數據與基類數據屬于同域，且新類別僅有少量的訓練樣本可用，同時還需考慮目標的分類和定位任務時，在訓練深度檢測模型時極易造成模型過擬合，使訓練良好的檢測模型在新類數據集上性能較差，從而導致模型的泛化能力不足和魯棒性差等問題。換言之，小樣本數據集與模型復雜度間的高度不匹配導致了模型訓練問題，因此，如何在小樣本條件下進行模型訓練，降低模型的學習難度，進一步增強模型的泛化性能成為當前小樣本檢測技術發展的難點之一。
域偏移。目前，小樣本目標檢測方法通常是借助大規模基類數據集來學習通用知識，同時將這些知識遷移至新任務的學習中。然而，當源域和目標域數據具有不同的數據分布時，可能出現域偏移問題。域偏移是指源域訓練的模型在應用于具有不同統計量的目標域時表現不佳，屬于異構遷移學習的范疇。具體而言，當源域的基類與目標域的新類數據間存在較大的域差異，且二者共享的知識較少時，將基類訓練的模型作為知識遷移至新類時很可能出現負遷移，從而導致模型對新任務的檢測性能不佳，這就是通常所說的域偏移問題。因此，如何利用先驗知識彌補樣本數據量不足問題，是當前研究面臨的巨大挑戰之一。與此同時，構建小樣本下的檢測模型，需綜合考慮合適的先驗知識和遷移策略，因此，如何有效地將源域知識遷移并泛化至目標域有待進步探索。
數據及分布偏差。數據集本質上是從數據分布中觀察到的樣本集合。然而，當訓練樣本數量不充足時，數據的多樣性降低，導致數據偏差及分布偏差等問題。與大規模的數據集相比，有限的訓練數據會放大數據集中的噪聲，造成數據偏差，比如對于相同類別的圖像存在較大的類內變化，不同類別的圖像間的距離較小等等。而且，因目標域樣本極其有限，無法準確地表征目標域的真實數據分布，導致目標域類別間及類別與背景間相互混淆，從而影響模型的檢測精度。因此，如何提升訓練數據的多樣性，降低分類混淆，進而保證小樣本檢測模型的穩定性具有很大的研究空間。
針對小樣本下的模型訓練問題，當前的小樣本目標檢測方法通常基于任務的episode訓練策略和基于數據驅動的訓練策略這兩種學習策略。
基于任務的 episode 訓練策略。基于任務的 episode 訓練策略以任務為基本單元，每個任務的數據集分為支持集和查詢集，其目標是從大量訓練任務中獲取先驗知識，從而能夠通過少量數據在新任務中更快地學習。整個訓練過程可分為元訓練和元測試兩個階段，在元訓練階段，通過組合不同的訓練集構建不同的元任務，使得模型學習獨立于任務的泛化能力；在元測試階段，模型不需要重新訓練或僅需少量迭代次數即可學習新任務，最終實現“學會學習”。在訓練過程中，模型通過支持集中的樣本進行學習，然后在查詢集中進行測試和評估。圖3展示了 2-way 3-shot 任務的訓練范式。
圖3 基于任務的 episode 訓練策略
該策略的優點在于能夠快速獲取先驗知識，從而在新任務中更快地學習，但其要求所有任務滿足同分布，其任務的設計可能限制了模型的學習能力。
基于數據驅動的訓練策略。基于數據驅動的訓練策略任務，采用“預訓練微調”的訓練范式，直接針對數據集進行訓練，在具有大量注釋的基類數據集上進行預訓練獲得基類檢測模型，在小樣本數據集上進行微調泛化至新類。在訓練過程中，模型通過批量數據進行學習，然后在小的數據集上通過微調實現模型的可遷移性，使其泛化至新任務。圖4展示了基于數據驅動的訓練策略。
圖4 基于數據驅動的訓練策略
該策略的優點在于能夠通過數據增強等方式增加數據的多樣性，提高模型的泛化能力，但其需要大量的標注數據進行訓練，且可能存在過擬合的問題。
從工作原理的角度出發，我們將小樣本目標檢測方法分為基于元學習的方法、基于遷移學習的方法、基于數據增強的方法以及基于度量學習的方法四類。表 1 對這四類方法進行了簡要地概括和對比。
表 1 四種小樣本目標檢測方法算法的對比分析
基于元學習的方法核心思想是通過模擬一系列相似的小樣本任務，將先驗知識從注釋豐富的基類遷移至數據匱乏的新類之上，以應對樣本數量不足的問題。元學習方法以任務為單元進行訓練，通過任務和數據的雙重采樣來設計不同的小樣本任務，使其能夠利用少量的支持集樣本快速更新模型參數，最終在特定任務下僅需少量迭代即可快速泛化至新任務，不需要進一步微調。基于元學習的方法在小樣本目標檢測中取得了一定的成果，但是其設計較為困難，且在學習迭代過程中易出現不收斂問題。
圖5將Faster RCNN作為基礎檢測模型，構建了基于元學習的小樣本目標檢測框架。該框架通常采用并行結構，整個流程包括元訓練和元測試兩個階段。
圖5 基于元學習的兩階段小樣本目標檢測框架
基于遷移學習的方法與基于元學習的方法不同，基于遷移學習的方法不需要設計訓練任務，而是通過微調的方式將基類訓練的檢測模型遷移至新類。該方法不需要任務間存在很強的關聯性，且更強調在遷移的新任務上的性能，但依然存在諸多挑戰與難點。基于遷移學習的方法在小樣本目標檢測中也取得了一定的成果，但是需要解決的問題包括如何減少目標混淆、增強新類特征表示、保持基類的性能等。
圖6以兩階段檢測模型為基礎，構建了基于遷移學習的小樣本目標檢測框架該框架分為基類訓練和小樣本微調兩個階段。
圖 6 基于遷移學習的兩階段小樣本檢測框架
基于數據增強的方法旨在通過生成更多新類樣本、增強新類特征表示或為模型提供其他信息等方式，克服訓練樣本短缺的局限性。對于目標檢測任務而言，可以采用兩種數據增強方式：一是不改變標注框的增強方式，如色彩變換、高斯噪聲以及彈性變換等等；二是改變標注框的增強方式，如裁剪變換、旋轉變換以及鏡像變換等。在小樣本目標檢測中，數據增強方法可以提升數據及分布的多樣性，從而提高模型的泛化能力。目前，一些工作從如何生成更多示例的角度展開研究，而另一些工作則從未標記/弱標記的圖像或語義信息中，如何為模型提供額外的先驗知識的角度出發展開研究，提出了一系列創新性方法，并取得了令人可喜的研究成果。
圖 7展示了基于Faster RCNN模型的基于數據增強的小樣本目標檢測方法。當前方法分為三類：樣本與特征空間增強、引入未標記或弱標記數據及引入額外的語義信息。
圖 7 基于數據增強的小樣本檢測方法
基于度量學習的方法核心思想是將小樣本目標檢測視為小樣本分類問題，通過學習比較的思想，在小樣本圖像分類任務下取得了良好的性能。該類方法主要從支持集圖像的類原型表示、度量機制的實現以及損失函數設計等三個角度分別進行改進。然而，不能簡單地將小樣本分類中的度量方法直接應用于小樣本目標檢測中，其原因在于檢測模型需要知道潛在目標區域才能進行比較。因此，基于度量學習的小樣本目標檢測方法需要在度量學習的基礎上，進一步考慮如何捕捉目標區域的信息，以提高檢測性能。
圖 8 給出了基于度量學習的小樣本目標檢測框架。度量模塊的結構如圖 9所示。
圖 8 基于度量學習的小樣本目標檢測框架
圖 9 邊界框分類的度量模塊實現
當前小樣本目標檢測的數據集主要包括PASCAL VOC、MSCOCO、LVIS和FSOD等四個數據集。數據集的概況如表 2 所示。
表 2 小樣本目標檢測常用數據集及其劃分方式
表3列出了在三種不同的基類/新類類別分割設定下，小樣本目標檢測典型方法在PASCALVOC數據集下的新類檢測性能。表中紅色加粗/藍色加粗分別表示性能最優/次優結果，下表同。
表 3 PASCAL VOC 數據集中對新類的小樣本檢測性能
由表3可知，大多數方法采用Faster RCNN作為基礎檢測模型，目前性能最好的方法是UniT。此外，基于遷移學習方法的性能在大多數任務下達到 SOTA，基于元學習方法的性能僅次于基于遷移學習方法，基于數據增強和度量學習方法的性能較差，表明在 PASCAL VOC 數據集上還有較大的提升空間。
表4給出了第一次分割下，四類經典方法對基類遺忘性能的比較。其中，nAP50表示IoU閾值等于0.5時的新類檢測性能，bAP50表示IoU閾值等于0.5時的基類檢測性能。從實驗結果中可看出，基于遷移學習的兩種方法TFA和SRR-FSD分別在基類和新類的檢測精度指標上達到了最新水平。
表 4 PASCAL VOC數據集下基類和新類的小樣本檢測性能
表5列舉了四類經典的小樣本目標檢測方法在COCO數據集上的新類檢測性能對比。其中，每類采用10個樣本和30個樣本，nAP表示新類別的平均檢測性能，nAP50表示IoU閾值等于0.5時的新類別檢測性能。從實驗結果中可以看出，對于檢測難度較大的COCO數據集而言，基于小樣本的檢測性能還有較大的提升空間。
表 5 四類經典方法在COCO數據集10/30個樣本下的新類檢測性能
表6列舉了TFA方法與聯合訓練方法在LVIS數據集10-shot下的新類檢測性能。
表 6 兩種方法在LVIS數據集10個樣本下的新類檢測性能
表7列舉了四種小樣本目標檢測方法在FSOD數據集上的新類別檢測性能對比。從實驗結果中可以看出，基于元學習的方法FSOD和MM-FSOD不需要后續的微調步驟就能檢測新類別，且MM-FSOD方法的性能與FSOD方法相比平均高出17.95%，而基于遷移學習的LSTD方法則需要進一步的微調。
表 7 四種方法在FSOD數據集5個樣本下的新類檢測性能
盡管小樣本目標檢測取得了顯著進步，但各類方法仍受限于特定應用場景和局限。目前的算法在有限監督下的小樣本場景表現良好，然而在復雜場景，如持續增量學習、弱監督或域適應等方面的小樣本目標檢測仍面臨挑戰。特別是，針對無人機和機器人領域的持續增量小樣本檢測的研究相對匱乏，相關試驗性驗證也不充分。同時，弱監督或域適應小樣本目標檢測尚處于起步階段，需根據特定領域知識和任務特性設計有針對性的小樣本檢測算法。此外，算法的實際應用也面臨挑戰，但在人工智能各個領域具有廣泛的應用價值和研究意義。因此，在復雜場景下，研發有效的小樣本目標檢測方法及其應用仍是一個重要的研究方向。
文章轉自微信公眾號@算法進階