人工智能(AI)如今無處不在。這項革命性科技正逐漸滲透到更多領域，影響范圍之廣將遠超出你的想象。不管從事什么業(yè)務，每家公司似乎都或多或少與AI產生聯(lián)系。尤其是如今人們想方設法將AI運用到自動駕駛汽車、物聯(lián)網(IoT)、網絡安全、醫(yī)療等諸多領域。企業(yè)領導者應當深刻了解如何將AI運用到他們的產品之中，如果率先采用AI獲得成功，遲遲未行動的后來者將會陷入困境。

　　然而AI應用種類各異，各有千秋。不同的應用領域要求的AI技術也不盡相同。目前最受關注的應用類別當屬嵌入式視覺。這一領域的AI使用所謂的卷積神經網絡(CNN)，試圖模擬人眼的運作方式。在這 篇AI白皮書中，我們主要關注視覺應用，當然其中許多概念也適用于其他應用。

　　目錄

　　第一節(jié)| 網絡邊緣AI的要求3

　　第二節(jié)| 推理引擎的選擇5

　　第三節(jié)| 在萊迪思FPGA中構建推理引擎7

　　第四節(jié)| 在萊迪思FPGA上構建推理模型8

　　第五節(jié)| 兩個檢測實例10

　　第六節(jié)| 小 結13

　　網絡邊緣AI的要求

　　AI涉及創(chuàng)造一個工作流程的訓練模型。然后該模型在某個應用中對現(xiàn)實世界的情況進行推理。因此，AI應用有兩個主要的生命階段：訓練和推理。

　　訓練是在開發(fā)過程中完成的，通常在云端進行。推理作為一項持續(xù)進行的活動，則是通過部署的設備完 成。因為推理涉及的計算問題會非常復雜，目前大部分都是在云端進行。但是做決策的時間通常都十分有限。向云端傳輸數(shù)據然后等待云端做出決策非常耗時。等到做出決策，可能為時已晚。而在本地做決策則能節(jié)省那寶貴的幾秒鐘時間。

　　這種實時控制的需求適用于需要快速做出決策的諸多領域。例如人員偵測：

　　其他實時在線的應用包括：

　　在快速決策這種需求的推動下，目前將推理過程從云端轉移到“網絡邊緣”的訴求異常強烈——即在設備上收集數(shù)據然后根據AI決策采取行動。這將解決云端不可避免的延遲問題。

　　本地推理還有兩個好處。第一個就是隱私安全。數(shù)據從云端來回傳輸，以及儲存在云端，容易被入侵和盜取。但如果數(shù)據從未到達設備以外的地方，出現(xiàn)問題的幾率就小得多。

　　另一個好處與網絡帶寬有關。將視頻傳送到云端進行實時處理會占用大量的帶寬。而在本地做決策則能省下這部分帶寬用于其他要求較高的任務。

　　此外：

　　o 這類設備通常都是使用電池供電——或者，如果是電源直接供電，兩者都有散熱限制，從而給設備的持續(xù)使用造成限制。而與云端通信的設備需要管理自身的功耗的散熱問題。

　　o AI模型演化速度極快。在訓練始末，模型的大小會有極大差異，并且在進入開發(fā)階段以前，可能無法很好地估算所需計算平臺的大小。此外，訓練過程發(fā)生的細微改變就會對整個模型造成重大影響，增加了變數(shù)。所有這些使得網絡邊緣設備硬件大小的估計變得尤為困難。

　　o 在為特定設備優(yōu)化模型的過程中，始終伴隨著權衡。 這意味著模型在不同的設備中可能以不同的方式運行。

　　o 最后，網絡邊緣中的設備通常非常小。這就限制了所有AI推理設備的大小。

　　由此我們總結出以下關于網絡邊緣推理的幾點重要要求：

　　用于網絡邊緣AI推理的引擎必須：

　　? 功耗低

　　? 非常靈活

　　? 拓展性強

　　? 尺寸小

　　萊迪思的sensAI能讓你開發(fā)出完全具備以上四個特征的推理引擎。它包含了硬件平臺、軟IP、神經網絡編譯器、開發(fā)模塊和開發(fā)資源，能夠助您迅速開發(fā)理想中的設計。

　　推理引擎的選擇

　　將推理引擎構建到網絡邊緣設備中涉及兩個方面：開發(fā)承載模型運行的硬件平臺以及開發(fā)模型本身。

　　理論上來說，模型可以在許多不同的架構上運行。但若要在網絡邊緣，尤其是在實時在線的應用中運行模型，選擇就變少了，因為要考慮到之前提到的功耗、靈活性和擴展性等要求。

　　? MCU - 設計AI模型的最常見做法就是使用處理器，可能是GPU或者DSP，也有可能是微控制器。但是網絡邊緣設備上的處理器可能就連實現(xiàn)簡單的模型也無法處理。這樣的設備可能只有低端的微控制器

　　(MCU)。而使用較大的處理器可能會違反設備的功耗和成本要求，因此對于此類設備而言，AI似乎難以實現(xiàn)。

　　這正是低功耗FPGA發(fā)揮作用的地方。與增強處理器來處理算法的方式不同，萊迪思的ECP5或UltraPlus FPGA可以作為MCU的協(xié)處理器，處理MCU無法解決的復雜任務之余，將功耗保持在要求范圍內。由于這些萊迪思FPGA能夠實現(xiàn)DSP，它們可以提供低端MCU不具備的計算能力。

　　圖1：FPGA作為MCU的協(xié)處理器

　　? ASICS和ASSP - 對于更為成熟、大批量銷售的AI模型而言，采用ASIC或特定應用標準產品(ASSP)或許是可行之道。但是由于工作負載較大，它們在實時在線的應用中的功耗太大。

　　在此情況下，Lattice FPGA可以充當協(xié)處理器，處理包括喚醒關鍵字的喚醒活動或粗略識別某些視頻圖像(如識別與人形相似的物體)，然后才喚醒ASIC或ASSP，識別更多語音或者確定視頻中的目標確實是一個人(或甚至可以識別特定的人)。

　　FPGA處理實時在線的部分，這部分的功耗至關重要。然而并非所有的FPGA都能勝任這一角色，因為絕大多數(shù)FPGA功耗仍然太高，而萊迪思ECP5和UltraPlus FPGA則擁有必要的低功耗特性。

　　圖2 FPGA作為ASIC/ASSP的協(xié)處理器

　　? 單獨運行的FPGA AI引擎 - 最后，低功耗FPGA可以作為單獨運行的、完整的AI引擎。FPGA中的DSP在這里起了關鍵作用。即便網絡邊緣設備沒有其他的計算資源，也可以在不超出功耗、成本或電路板尺寸預算的情況下添加AI功能。此外它們還擁有支持快速演進算法所需的靈活性和可擴展性。

　　圖3 單獨使用FPGA的整合解決方案