一個簡單、漸進(jìn)、但必須知道的基線：用于Vision Transformer的自監(jiān)督學(xué)習(xí)。盡管標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)的訓(xùn)練方法已經(jīng)非常成熟且魯棒，然而ViT的訓(xùn)練方案仍有待于構(gòu)建，特別是自監(jiān)督場景下的訓(xùn)練極具挑戰(zhàn)。

1 背景

在今天分享愷明團(tuán)隊新推出的自監(jiān)督學(xué)習(xí)+Transformer=MoCoV3之前，我想和大家分享下最近我看到一篇目標(biāo)檢測文章，最近因為一直推送目標(biāo)檢測類的，覺得這篇是個不錯的idea。

什么是開放世界中的目標(biāo)檢測呢？

A model is tasked to:

在沒有明確的監(jiān)督下，能夠?qū)]有見過的目標(biāo)識別為“未知”類；

對于這些認(rèn)定為“未知”的類，當(dāng)逐步獲得對應(yīng)的標(biāo)簽之后，能夠漸進(jìn)地學(xué)習(xí)它們，且不遺忘以前學(xué)過的那些類別。

這個與以前提出的Open Set和Open World image classification的最大不同在于：在目標(biāo)檢測器的訓(xùn)練過程中，將那些未知的目標(biāo)當(dāng)做背景。

深度學(xué)習(xí)加快了目標(biāo)檢測的研究進(jìn)展，但目前現(xiàn)有方法都在一個強(qiáng)假設(shè)下進(jìn)行：所有要被檢測的種類都需要在訓(xùn)練階段提供。當(dāng)我們放寬這一假設(shè)，就會出現(xiàn)兩個具有挑戰(zhàn)性的問題：

測試圖像可能包含未知類的目標(biāo)，這些未知目標(biāo)也需要被歸類；

當(dāng)被識別為未知類別的標(biāo)簽已經(jīng)可用時，模型需要進(jìn)一步學(xué)習(xí)新的類別。

2 檢測框架

論文：https://arxiv.org/pdf/2103.02603.pdf

代碼：https://github.com/JosephKJ/OWOD

第一行：在每個增量學(xué)習(xí)步驟中，模型識別未知對象（用“？”表示），這些對象被逐步標(biāo)記（藍(lán)色圓圈）并添加到現(xiàn)有知識庫（綠色圓圈）中。

第二行：開放世界目標(biāo)檢測模型使用基于能量的分類頭和未知感知RPN識別潛在的未知對象。此外，在特征空間中執(zhí)行對比學(xué)習(xí)來學(xué)習(xí)判別集群，并且可以以連續(xù)的方式靈活地添加新類而不會忘記以前的類。

對比聚類

在隱藏層特征空間上類的區(qū)分性將是實現(xiàn)類別分離的理想特征。采用對比性聚類就是為了強(qiáng)制性的達(dá)到上圖第二行中間圖的效果，類內(nèi)差盡量小，而類間差盡量大。每個已知類別會維護(hù)一個向量是檢測器中間層生成的特征向量，假設(shè)已知類別數(shù)為，則特征向量表征為，其中代表未知類的特征向量。然后再建立一個用來存儲訓(xùn)練過程中的臨時特征向量，每個類的特征向量存在其對應(yīng)位置。

最后在常規(guī)損失函數(shù)上再疊加一個對比聚類損失來達(dá)到強(qiáng)制降低類內(nèi)差，增大類間差的效果。原文中該部分的流程圖如下，其中是不疊加對比聚類損失的輪數(shù)，用以初始化已知類別的特征向量，表示，在迭代輪數(shù)大于后，每輪都計算對比聚類的損失，并每輪進(jìn)行一次特征向量更新(有點(diǎn)像混合高斯背景建模了)：

基于RPN自動標(biāo)記機(jī)制

框架的核心就是利用RPN的建議框類別無關(guān)特性，將RPN提取的置信度最高的前K個背景建議框作為位置對象的建議框位置向后傳遞。

基于能量的分類頭

首先是基于前面提到的對比聚類將不同類別的特征表征盡量的拉開了，研究者選擇對不同類別的概率密度函數(shù)進(jìn)行建模，作為不同類別的區(qū)分，作者用圖進(jìn)行了說明。

如上所示，已知和未知數(shù)據(jù)點(diǎn)的能量值表現(xiàn)出明顯的分離。研究者在每個樣本上擬合Weibull分布，并使用這些分布來識別未知的已知和未知樣本。

Alleviating Forgetting

在識別未知數(shù)之后，開放世界檢測器的一個重要要求是能夠?qū)W習(xí)新的類，當(dāng)提供一些感興趣的未知類的標(biāo)記示例時。重要的是，在此階段將不存在先前任務(wù)的訓(xùn)練數(shù)據(jù)，因為從頭開始重新訓(xùn)練不是可行的解決方案。

僅使用新類實例進(jìn)行訓(xùn)練將導(dǎo)致災(zāi)難性地遺忘之前的類。研究者注意到已經(jīng)開發(fā)了許多涉及的方法來減輕這種遺忘，包括基于參數(shù)正則化的方法，示例重放（exemplar replay），動態(tài)擴(kuò)展網(wǎng)絡(luò)（dynamically expanding networks）和元學(xué)習(xí)。

3 檢測效果分析

僅在任務(wù) 1 上訓(xùn)練的ORE在上圖(a)中成功地將風(fēng)箏定位為未知對象，而在任務(wù)3中了解風(fēng)箏后，它逐漸學(xué)習(xí)檢測上圖(b)中的風(fēng)箏和飛機(jī)。

在任務(wù)1上訓(xùn)練后來自O(shè)RE的預(yù)測?！按笙蟆?、“蘋果”、“香蕉”、“斑馬”和“長頸鹿”尚未引入模型，因此成功歸類為“未知”。該方法將其中一只“長頸鹿”錯誤分類為“馬”，顯示了ORE的局限性。

有關(guān)對比聚類的更多詳細(xì)信息

使用對比聚類來確保潛在空間分離的動機(jī)有兩個：1）它使模型能夠?qū)⑽粗獙嵗c已知實例分開，從而促進(jìn)未知識別；2）它確保每個類的實例與其他類很好地分離，緩解遺忘問題。

對比損失被添加到Faster R-CNN 損失中，整個網(wǎng)絡(luò)被端到端的訓(xùn)練。因此，在 Faster R-CNN管道中RoI Head中的殘差塊之前和包括網(wǎng)絡(luò)的所有部分都將使用來自對比聚類損失的梯度進(jìn)行更新。

在學(xué)習(xí)任務(wù)1后，桌子頂部筆記本電腦旁邊的幾個項目被識別為未知。筆記本電腦、書和鼠標(biāo)作為任務(wù)4的一部分被引入。external-storage和walkman（兩者都沒有介紹過）最初被識別為未知，但學(xué)習(xí)任務(wù)4后沒有被檢測到，是ORE的失敗案例之一。

最終在任務(wù)2中學(xué)習(xí)到被識別為未知的手提箱，以及對椅子的誤報檢測。

上圖(a)是ORE學(xué)習(xí)Task 2后產(chǎn)生的結(jié)果。由于沒有引入Task 3類，如apple和Orange，ORE識別出來并正確標(biāo)注為unknown。在學(xué)習(xí)Task 3之后，這些實例在上圖(b)中被正確標(biāo)記。一個未識別的類實例仍然存在，ORE成功地將其檢測為未知。

下期我們來好好說說何凱明他們團(tuán)隊又做出來重大貢獻(xiàn)的思路，有興趣的你請持續(xù)關(guān)注，謝謝！