《Consistent-Teacher: Towards Reducing Inconsistent Pseudo-targets in Semi-supervised Object Detection》是一篇關(guān)于半監(jiān)督目標檢測的論文。該論文提出了一種新的方法，稱為“Consistent-Teacher”，用于減少偽目標（pseudo-targets），這些偽目標是由于標簽的不一致性而引入到訓練中的錯誤對象。

一、總概述

在本研究中，研究者深入研究了半監(jiān)督目標檢測（SSOD）中偽目標的不一致性。核心觀察結(jié)果是，振蕩的偽目標破壞了精確的半監(jiān)督檢測器的訓練。它不僅給學生的訓練注入了噪聲，而且導致了分類任務(wù)的嚴重過擬合。因此，研究者提出了一個系統(tǒng)的解決方案，稱為一致教師，以減少不一致。首先，自適應(yīng)錨分配（ASA）取代了基于靜態(tài)IoU的策略，使學生網(wǎng)絡(luò)能夠抵抗噪聲偽邊界盒；然后，通過設(shè)計三維特征對齊模塊（FAM-3D）來校準子任務(wù)預(yù)測。它允許每個分類特征在任意尺度和位置自適應(yīng)地查詢回歸任務(wù)的最優(yōu)特征向量。最后，高斯混合模型（GMM）動態(tài)地修正了偽框的得分閾值，從而穩(wěn)定了基本事實的數(shù)量

二、動機

在這項研究中，研究者指出，半監(jiān)督檢測器的性能仍然在很大程度上受到偽目標不一致性的阻礙。不一致意味著偽框可能非常不準確，并且在訓練的不同階段變化很大。因此，不一致的振蕩邊界盒（bbox）會使SSOD預(yù)測產(chǎn)生累積誤差。與半監(jiān)督分類不同，SSOD有一個額外的步驟，即為每個RoI/錨點分配一組偽框作為密集監(jiān)督。常見的兩級和單級SSOD網(wǎng)絡(luò)采用靜態(tài)的錨分配標準，例如IoU分數(shù)或中心度。據(jù)觀察，靜態(tài)作業(yè)對教師預(yù)測的邊界框中的噪聲很敏感，因為假邊界框中一個小的擾動可能會極大地影響作業(yè)結(jié)果。因此，它導致未標記圖像上的嚴重過擬合。為了驗證這一現(xiàn)象，在MS-COCO 10%數(shù)據(jù)的基礎(chǔ)上，用基于IoU的標準分配來訓練單級探測器。如下圖所示，教師輸出的微小變化導致偽框邊界中的強噪聲，導致在基于IoU的靜態(tài)分配下，錯誤目標與附近對象相關(guān)聯(lián)。這是因為一些未激活的主播在學生網(wǎng)絡(luò)中被錯誤地分配為陽性。因此，網(wǎng)絡(luò)會過擬合，因為它會為相鄰對象生成不一致的標簽。在未標記圖像的分類損失曲線中也觀察到過擬合。不一致是指偽框可能高度不準確，并且在不同的訓練階段差異很大。

（左）比較“Mean-Teacher ”和“Consistent-Teacher”的訓練損失。在Mean-Teacher中，不一致的偽目標導致分類分支上的過擬合，而回歸損失變得難以收斂。相反，新提出的方法為學生設(shè)定了一致的優(yōu)化目標，有效地平衡了這兩項任務(wù)并防止了過度擬合。

（右）偽標簽和分配動態(tài)的快照。綠色和紅色的框指的是北極熊的真值和偽值。紅點是為偽標簽指定的定位框。熱圖表示教師預(yù)測的密集置信度分數(shù)（越亮越大）。附近的木板最終在基線中被錯誤地歸類為北極熊，而提出的自適應(yīng)分配防止了過度擬合。

三、實驗及結(jié)果

研究者的工作解決了SSOD的不一致問題。以下是訓練過程中不同時間步長的一些樣本檢測結(jié)果：Red: False Positive; Blue: True Postive; Green: Ground-truth

Mean-Teacher

Consistent-Teacher

Mean-Teacher

Consistent-Teacher