這次分享的以半監(jiān)督目標(biāo)檢測為研究對象，通過對有標(biāo)簽和無標(biāo)簽數(shù)據(jù)的訓(xùn)練，提高了基于候選的目標(biāo)檢測器（即two-stages目標(biāo)檢測器）的檢測精度。然而，由于真值標(biāo)簽的不可用性，在未標(biāo)記的數(shù)據(jù)上訓(xùn)練目標(biāo)檢測器是非常重要的。

概要

為了解決這個問題，于是就提出了一個 proposal learning方法從標(biāo)記和未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)候選的特征和預(yù)測。該方法由自監(jiān)督候選學(xué)習(xí)模塊和基于一致性的候選學(xué)習(xí)模塊組成。在自監(jiān)督候選學(xué)習(xí)模塊中，分別提出了一個候選位置損失和一個對比損失來學(xué)習(xí)上下文感知和噪聲魯棒的候選特征；在基于一致性的候選學(xué)習(xí)模塊中，將一致性損失應(yīng)用于候選的邊界框分類和回歸預(yù)測，以學(xué)習(xí)噪聲穩(wěn)健的候選特征和預(yù)測。

最后，在COCO數(shù)據(jù)集上對所有可用的有標(biāo)簽和無標(biāo)簽數(shù)據(jù)進行了實驗。結(jié)果表明，新方法一致地提高了全監(jiān)督基線的精度。特別是在結(jié)合了數(shù)據(jù)蒸餾之后，新方法與全監(jiān)督基線和數(shù)據(jù)蒸餾基線相比，平均提高AP約2.0%和0.9%。

新框架

 Problem Definition

在半監(jiān)督目標(biāo)檢測（ Semi-Supervised Object Detec-

tion (SSOD) ）中，一組標(biāo)記數(shù)據(jù)D_l={（I，G）}和一組給出了未標(biāo)記數(shù)據(jù)的D_u={I}，其中I和G分別表示圖像和真值標(biāo)簽。在目標(biāo)檢測中，G由一組具有位置和目標(biāo)類的對象組成。SSOD的目標(biāo)是訓(xùn)練目標(biāo)檢測器，包括標(biāo)記數(shù)據(jù)D_l和未標(biāo)記數(shù)據(jù)D_u。

The Overall Framework

對于每一個標(biāo)記數(shù)據(jù)（I，G）∈D_l，根據(jù)標(biāo)準(zhǔn)的全監(jiān)督損失定義訓(xùn)練目標(biāo)檢測器是簡單的，如下公式：

其中第二項分別表示RPN損失和R-CNN損失。該損失在反向傳播過程中優(yōu)化θb、θrpn、θr-cnn、θcls、θreg去訓(xùn)練目標(biāo)檢測器。有關(guān)損失函數(shù)的更多詳細信息，請參見：

Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE transactions on pattern analysis and machine intelligence, 39(6):1137–1149, 2017

將上面公式中定義的標(biāo)準(zhǔn)全監(jiān)督損失應(yīng)用于標(biāo)記數(shù)據(jù)dL，將自監(jiān)督候選學(xué)習(xí)損失Lself和基于一致性的候選學(xué)習(xí)損失Lcons應(yīng)用于未標(biāo)記數(shù)據(jù)dU。通過優(yōu)化反向傳播過程中的損失方程中的θb，θrpn，θr-cnn，θcls，θreg，θself，對目標(biāo)檢測器進行了訓(xùn)練：

然后將總損失寫成如下：

 Self-Supervised Proposal Learning

為了計算對比損失，使用instance discrimination作為pretext task：

結(jié)合上面的兩個公式中的候選位置損失以及對比損失，自監(jiān)督的候選學(xué)習(xí)損失寫為：

 Consistency-Based Proposal Learning

為了進一步訓(xùn)練抗噪聲目標(biāo)檢測器，應(yīng)用一致性損失來確保噪聲候選預(yù)測與其原始候選預(yù)測之間的一致性。更準(zhǔn)確地說，將一致性損失應(yīng)用于邊界框分類和回歸預(yù)測。對于邊界框分類預(yù)測C的一致性損失，使用KL散度作為損失，以強制噪聲候選的類預(yù)測及其原始候選一致。

為了進一步確保候選預(yù)測的一致性，在下列公式中計算一致性損失，以強制來自噪聲候選的目標(biāo)位置預(yù)測及其原始候選一致：

結(jié)合上面的兩個公式，基于一致性的候選學(xué)習(xí)損失如下：

實驗