來源：專知

ConvNets和其他神經(jīng)體系結構在計算機視覺方面的成功應用是過去十年人工智能革命的核心。對于可擴展視覺架構的強烈需求是既小又大。小型模型代表了對效率的需求，因為視覺識別系統(tǒng)通常部署在邊緣設備上;大型模型強調了對可擴展性的追求——利用日益豐富的計算和數(shù)據(jù)實現(xiàn)更高精度的能力。這兩個方向的研究都是卓有成效的，產(chǎn)生了許多有用的設計原則，對更多性能模型的追求從未停止。同時，文獻中非常快的發(fā)展速度有時會掩蓋某些方法取得良好結果的主要機制。在本論文中，我們將從兩個方面展開研究:(1)開發(fā)高效靈活的ConvNet模型推理直觀算法;(2)研究基線方法，揭示流行可擴展方法成功背后的原因。首先，我們將介紹我們對第一個隨時密集預測算法之一的工作。然后，我們將通過將模型修剪算法與一個極其簡單的基線進行比較來檢驗它們的有效性，并論證它們的真正價值可能在于學習架構。最后，通過采用《Transformers》中的設計技術對傳統(tǒng)的ConvNet進行現(xiàn)代化改造，我們提出了關于自注意力是否導致了Transformer最近出色的視覺擴展性的問題。

https://www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-205.html

深度學習的基本原理[103]可以追溯到幾十年前，20世紀80年代提出了基于梯度的反向傳播學習算法[151]，而ConvNets從早期就被應用于手寫數(shù)字識別等計算機視覺任務[105]。然而，深度學習的真正威力直到2012年才被揭示出來，那年AlexNet[99]贏得了ImageNet大規(guī)模圖像分類挑戰(zhàn)賽[34]。數(shù)據(jù)可用性的提高[34,110]、計算技術的進步[124,134]和改進的算法[64,181,95]是深度學習在各個應用領域持續(xù)成功的三大支柱[93,159]。隨著最近大型模型的興起，這一領域的快速發(fā)展還沒有顯示出放緩的跡象[13,144]。

深度學習不僅對我們的日常生活產(chǎn)生了顯著的影響，還改變了機器學習從業(yè)者和研究人員的工作流程——社區(qū)已經(jīng)從使用手工制作的淺層模型特征[123,32](如SVM[27])，轉向使用多層深度神經(jīng)網(wǎng)絡自動提取特征表示。手工制作的特性通常是高度特定于任務的，而且不能一般化，設計它們的過程通常很乏味。這種轉變極大地解放了研究人員的雙手和思想，允許他們更多地專注于建模方面。

自動表示學習的前景令人鼓舞，但實際情況并非如此光明。在實踐中，網(wǎng)絡結構對學習到的表征的質量有很大的影響。當網(wǎng)絡在各種下游任務上進行微調時，學習表征的質量也會傳播到準確性。因此，設計正確的神經(jīng)網(wǎng)絡架構現(xiàn)在是至關重要的，因此人類的任務是設計架構，而不是功能。在計算機視覺中，經(jīng)典的AlexNet是一個復雜的手工設計卷積神經(jīng)網(wǎng)絡的例子——層、內核大小、特征映射大小、深度、寬度和其他配置都是由人類精心選擇和平衡的。從那時起，各種各樣的神經(jīng)網(wǎng)絡架構被提出，不僅本身作為特征提取器有用，而且?guī)砹诵碌脑O計原則。VGGNet[161]填充了3 × 3內核卷積的使用，是同構網(wǎng)絡設計的先驅例子。ResNet[64]引入了剩余連接，使數(shù)百層的訓練網(wǎng)絡成為可能。Transformers [181,39]采用多頭自注意力作為一種新的網(wǎng)絡內部信息交換方式，在大規(guī)模訓練中表現(xiàn)優(yōu)異。神經(jīng)體系結構搜索方法[2189]試圖實現(xiàn)神經(jīng)體系結構設計的自動化，同時從人類設計的網(wǎng)絡中借鑒搜索空間設計的智慧[141]。這一領域的不斷創(chuàng)新，加上其他訓練技術，已經(jīng)將ImageNet上排名前1的圖像分類精度從AlexNet的62.5%提高到現(xiàn)在的近90%。在架構設計的各種目標中，效率和可擴展是兩個重要的概念。

這兩個方向的研究進展都是卓有成效的，許多有用的架構設計原則被后來的工作所采用。這是一段非凡的旅程，該領域仍在以驚人的速度發(fā)展。同時，部分由于在實驗中有太多詳細的設計選擇和超參數(shù)，在性能基準上進行系統(tǒng)范圍的比較是很常見的，研究人員可以選擇有利的配置，并為他們的方法配備額外的技術。這可能導致無法確定實證收益的來源[112]?；€方法有時沒有被充分地調整或調整，導致我們無法理解所提議的方法的真正有效性。在本論文中，除了提出一種新的高效架構框架外，我們還采取了批判性的視角，對那些被認為是瑣碎或過時的基線的方法或模型進行了實證研究。我們發(fā)現(xiàn)，當提供正確的技術時，它們具有驚人的競爭力。這使我們對某些新方法的潛在機制有了更深入的理解，并幫助我們更公平、更準確地評價它們的有效性。