為何需要NPU?它是如何工作的
“NPU” 代表什么?它能做什么?在過去的一年里,關于神經處理單元(NPU)的討論越來越多。雖然 NPU 已經在智能手機中出現(xiàn)幾年了,但英特爾、AMD 以及最近的微軟都推出了配備 NPU 的支持 AI 的消費級筆記本電腦和個人電腦。
本文引用地址:http://m.ptau.cn/article/202411/465023.htmNPU 與 AI PC 的相關概念密切相關,AMD、Apple、Intel 和 Qualcomm 等主要硬件制造商生產的芯片中越來越多地使用 NPU。自微軟推出 Copilot+ AI PC 產品以來,NPU 開始越來越多地出現(xiàn)在筆記本電腦中。
NPU起什么作用?
NPU 的作用是充當人工智能的硬件加速器。硬件加速是使用專用硅片來管理特定任務,就像主廚將不同的任務委托給副廚師,讓他們一起按時準備飯菜一樣。NPU 不會取代您的 CPU 或 GPU;相反,NPU 旨在補充 CPU 和 GPU 的優(yōu)勢,處理邊緣 AI 等工作負載,以便 CPU 和 GPU 可以為它們擅長的任務保留處理時間。
GPU 是專門為渲染圖形而設計的硬件加速器,但具有足夠的底層靈活性,也非常適合 AI 或某些類型的科學計算。長期以來,如果您有想要處理的 AI 工作負載,您會希望使用一個或多個高性能 GPU 進行實際的數(shù)字運算。一些公司正在致力于專門為 AI 構建專用硬件加速器,例如 Google 的 TPU,因為在“GPU”中帶有“G”的附加圖形功能在純粹用于 AI 處理的卡中沒有用處。
工作量決定一切
硬件加速在不涉及大量條件分支的重復性任務中最為有用,尤其是在數(shù)據(jù)量很大的情況下。例如,渲染 3D 圖形需要計算機管理持續(xù)不斷的無數(shù)粒子和多邊形流。這是一項帶寬密集型任務,但實際計算(主要是)三角函數(shù)。計算機圖形學、物理和天文學計算以及大型語言模型 (LLM),如支持現(xiàn)代 AI 聊天機器人的模型是硬件加速的理想工作負載的幾個例子。
AI 工作負載有兩種類型:訓練和推理。訓練幾乎完全在 GPU 上進行。Nvidia 利用其近二十年對 CUDA 的投資及其在獨立 GPU 中的領導地位,在這兩個市場上占據(jù)主導地位,盡管 AMD 已遠遠落后于第二名。大規(guī)模訓練在數(shù)據(jù)中心規(guī)模進行,當您與ChatGPT等基于云的服務進行通信時運行的推理工作負載也是如此。
NPU(以及與之相連的 AI PC)的運行規(guī)模要小得多。它們可以補充您最喜歡的 CPU 供應商的微處理器中的集成 GPU,為未來的 AI 工作負載提供額外的靈活性,并且與等待云端相比,可以提高性能。
NPU 如何工作?
一般來說,NPU 依靠高度并行的設計來快速執(zhí)行重復性任務。相比之下,CPU 是多面手。這種差異反映在 NPU 的邏輯和物理架構中。CPU 有一個或多個內核,可以訪問少量共享內存緩存,而 NPU 有多個子單元,每個子單元都有自己的微型緩存。NPU 適用于高吞吐量和高度并行的工作負載,如神經網(wǎng)絡和機器學習。
NPU、神經網(wǎng)絡和神經形態(tài)系統(tǒng)(如英特爾的 Loihi 平臺)都具有一個共同的設計目標:模擬大腦信息處理的某些方面。
每家將 NPU 推向市場的設備制造商都有其特定于其產品的微架構。大多數(shù)制造商還發(fā)布了與其 NPU 配合使用的軟件開發(fā)工具。例如,AMD 提供了 Ryzen AI 軟件堆棧,而英特爾則繼續(xù)改進其正在進行的開源深度學習軟件工具包 OpenVINO。
NPU 和邊緣智能
大多數(shù) NPU 都安裝在面向消費者的設備中,例如筆記本電腦和 PC。例如,高通的 Hexagon DSP 為其驍龍?zhí)幚砥魈砑恿?NPU 加速功能,用于智能手機、平板電腦、可穿戴設備、高級駕駛輔助系統(tǒng)和物聯(lián)網(wǎng)。Apple 生態(tài)系統(tǒng)在 iPhone、iPad 和 iMac 的 A 系列和 M 系列芯片中使用了其神經引擎 NPU。此外,一些 PC 和筆記本電腦被指定為 Copilot+,這意味著它們可以在板載 NPU 上運行 Microsoft 的 Copilot AI。但是,一些服務器端或基于云的系統(tǒng)也使用 NPU。Google 的 Tensor Processing Units 是專為數(shù)據(jù)中心的高性能機器學習而設計的 NPU 加速器。
NPU 崛起的原因之一是邊緣智能的重要性日益增加。在傳感器網(wǎng)絡、移動設備和物聯(lián)網(wǎng)之間,數(shù)據(jù)整理的需求已經日益增長。與此同時,基于云的服務受制于基礎設施延遲。本地處理不一定非要在云端執(zhí)行任何操作。這可能在速度和安全性方面都是一種優(yōu)勢。
你是否需要 NPU 這個問題幾乎是一個轉移注意力的話題。英特爾、AMD 和蘋果等硅谷巨頭已經投資了這項技術。無論你是否有特定的 NPU 用途,下次你組裝或購買 PC 時,你選擇的芯片很有可能會配備 NPU。到 2026 年底,分析師預計100% 的美國企業(yè) PC 購買都將在芯片中嵌入一個或多個 NPU。換句話說,不用擔心買不到帶有 NPU 的系統(tǒng)。他們會主動找上門來的。
*免責聲明:本文由作者原創(chuàng),內容編譯自extremetech。原文鏈接:https://www.extremetech.com/computing/what-is-an-npu
評論