1   前言

在AI大潮流中，程序員(又稱碼農)具有的優(yōu)勢是擅長挖掘AI開源代碼(如免費金礦)。由于互聯網上有豐富的開源AI大模型的代碼(Code)，而程序員熟悉免費拿大模型的代碼，把其參數量調小，搭配企業(yè)自有IP練出企業(yè)自有IP的中小模型了。于是，免費代碼既省成本、又自有IP，豈不美乎。

基于上述的優(yōu)勢技能,程序員可以將AI模型(代碼)視為-種軟件容器(Container),其能程序員擅長于代碼，可以表達算法，也包容芯片算力。于是，程序員承接下且致力于組合創(chuàng)新AI容器，以便支持人們的多樣化商且致力于組合創(chuàng)新AI容器，以便支持人們的多樣化商業(yè)應用需求。

程序員的珍貴價值在于—AI模型代碼的創(chuàng)新組合，其內涵包括:

●   IT延伸人的手腳，AI 擴大人思維空間。

●   LLM強龍與企業(yè)AI地頭蛇的相輔相成。

●   傳統(tǒng)IT、今日AI與人之間，三合協作。

●   LLM是神鷹，IT是獵狗，您是成吉思汗。

于是，本文就來說明，程序員轉型AI高手的葵花寶典，它包含8項杰出思維和創(chuàng)新組合技能。如下：

1.精準厘清泛化需求，調整模型參數,追求最優(yōu)化。

2.家貓搭配野貓。貓丁興旺，企業(yè)興隆，財源廣闊。

3.優(yōu)化人機的協作模式。建立<人, AI,IT>的三合。

4.熟悉微調的訓練機制，并搭配GPU性能優(yōu)化策略。

5.區(qū)分AI模型的可觀察空間與隱空間(Latent space)。

6.避免掉入把AI模型應用于<果-果>推論的陷阱里。

7.活用LLM來優(yōu)化人機接口，拉近科技與人的距離。

8.AIGC不僅能生成作品，也能生成樣本(Samples)。

2   詳細解說

2.1   杰出思維(1)：精準厘清泛化需求，調整模型參數，追求最優(yōu)化

●   泛化(Generalization)是大模型的必要特性和能力，因而模型的參數量大增，運算效率下降且更加耗能。[泛化」之意是:當我們的AI模型可以應對未來的數據，也就是可以被廣泛使用卻仍在我們模型的識別的范圍內，也就是它的適應性很好，這就是泛化。

●   從上所述可知，泛化是導致模型變大、效率下降的原因。所以，縮小泛化的幅度，能有效減小模型、加細觀察企業(yè)AI應用情境中的泛化需求，然后刪除不必細觀察企業(yè)AI應用情境中的泛化需求，然后刪除不必要的模型泛化功能、結構，以及數據收集和訓練。

●   例如，在商店<柜臺CLIP招財貓>模型的使用情境里，客人拿來結賬的商品是自己店家的商品，由柜臺的Camera拍攝照片，才輸入給CLIP 模型。于是，泛化的幅度不需要超出本家產品圖像，只需要涵蓋產品放置的角度不同而拍攝到不同視角的圖像即可。這樣即可大幅縮小參數量、訓練數據量、加速訓練和推理效能，省時又省能源。

2.2   杰出思維(2):家貓搭配野貓。貓丁興旺，企業(yè)興隆,財源廣闊

●   亦即，訓練自己的家貓(小模型),搭配外來的野貓(大模型)。貓丁興旺，企業(yè)興隆。

●   精心思考如何來建立企業(yè)家貓模型，復制企業(yè)專家直覺，擴大企業(yè)生產力，提升競爭力。亦即，引導企業(yè)內的領域專家、AI工程師，一起攜手為企業(yè)(建立AI模型、訓練模型、應用模型〉。大力延伸企業(yè)專家有效的〈去蕪存菁>剪枝之后，才是企業(yè)最值得信賴的有效的〈去蕪存菁>剪枝之后，知識力,最能提供客戶〈比你更懂你)的服務效能。亦即，才是企業(yè)最值得信賴的訓練自己的家貓(小模型),搭配外來的野貓(大模型)。

●   生成式AI大模型是發(fā)散性(加法設計)，如同風箏一樣隨風飄揚。它需要有一根繩索， 即縮斂性(減法設計)模型，來精準微調，力求整體和諧。例如，Stable Difusion是發(fā)散性模型，富有創(chuàng)新力。各企業(yè)可以訓練自用Difusion來生成足夠樣本，來訓練自用GAN模型，來擔任縮斂的任務。

●   再如ChatGPT等是發(fā)散性模型,富有幻想創(chuàng)新力。各企業(yè)可基于企業(yè)知識圖(Knowledge Graph)，訓練自用Graph AI模型，來擔任縮斂的任務。

2.3   杰出思維(3):優(yōu)化人機之間的協作模式

●   鑒于近年來AI的發(fā)展，AI(如ChatGPT)愈來愈善解人意，但是行為卻更加幻覺。于是，我們可以把機器(計算機)的任務分為三項: 1) 與人體貼互動、2)正確工作行為、3)關鍵重要決策。

●   其中的第1項任務可由AI來打前鋒。而第2項任務則由傳統(tǒng)IT打前鋒搭配AI輔助。至于攸關法律責任(或人命關天)的重要決策，則交給人類來主導&裁決。AI可以比喻為<神鷹>、IT 可比喻為<鬣狗>、善用<神鷹、鬣狗、成吉思汗>的三合架構，則您極善用<神鷹、鬣狗、成吉思汗>的三合架構，則您極可能如成吉思汗，締造史上最大帝國。

●   就如同Uber汽車，人類司機是決策者(需負法律責任，并且人命關天)。而AI扮演<相>的角色——如幫忙看地圖、比人類看得更廣，尋找更佳路線，并實時重新探索新路徑。此時，不是拿人類所看到的地圖數據去訓練AI,而是收集更多人類視野中看不見的、無法實時看完的巨大數據來訓練AI。

●   此外，AI還要時時刻刻觀察人類的決策，瞬間評估人類的決策，實時反饋給決策者，避免人類將錯誤決策付之<執(zhí)行>，于是大大降低了決策風險。

2.4   杰出思維(4):微調(Fine- tuning)訓練，并搭配GPU性能優(yōu)化策略

●   例如，熟悉LoRA微調三步驟：

●   Step-1:觀察&測試原模型(如MT5- -Small)的input和output格式

●   Step-2:準備Training data，建立自己的Dataset類別，并拿原模型測試訓練。

●   Step-3:將LoRA外掛到原模型(如MT5-Small)，并進行協同訓練及測試。

●   再如，程序代碼指定使用BF16精度、NTWC內存數據格式等，發(fā)揮Intel GPU的高效率潛能，大幅加快訓練效率。以及指定量化(Quantization)模式，提高推論效率、降低功耗。

2.5   杰出思維(5):區(qū)分模型里的可觀察空間與隱空間(Latent space)

●   力求發(fā)揮隱空間的三項特質是:架構通用性、內涵復用性、模塊組裝性。這個架構如同一棵大樹的主干，向上支持枝葉(即可觀察空間)的新陳代謝，又能支持根部(如底層GPU芯片)的成長，因而創(chuàng)造了整體生生不息的有機次序(Organic Order)。

●   當底層芯片層更改時，它不會影響可觀察層，能大幅降低AI芯片開發(fā)的風險。因此，基于隱空間架構可以確保芯片底層設計變動的自由度，可以實現<沒錢就改版，改版就有錢>的美好商模。

2.6   杰出思維(6):避免掉入<把AI模型應用于<果果>推論>的陷阱

●   許多人們掉入把AI模型應用于<果果>推論的陷阱里。例如，ECG心電圖數據、血糖檢測數據，其實都是<果>，不是<因>。而眼睛、腳踝腫大癥狀，也是<果>。 心臟休克，也是<果>。AI模型應用于<果果>預測都不會準確，都會失敗!

●   例如在醫(yī)學AI領域，病毒檢測和預測，不能掉入這項迷思里。而要請教醫(yī)學專家:這些果的幕后的<因>是甚么?然后建立兩個AI模型，第1個模型：第2個模型是：從預測出的真正<因>，推論出所需要第2個模型是:從預測出的真正<因>，推論出所需要的果(如胰臟癌并發(fā)癥)。

●   除了醫(yī)學AI模型之外，其實各行業(yè)都要留意：所有呈現的數據幾乎都是現象的<果>。而這些現象的真實的<因>并沒有呈現于大數據里。

●   因而一般人常常只關心數據的<真>與<假>。而沒有深入探索出關于<因>的潛藏數據。例如，Apple Watch是-項成功的AI商業(yè)案例，人們需要建立<果因推論>的AI模型，而不是僅僅建立<果果>AI模型。

2.7   杰出思維(7):活用LLM優(yōu)化人機交互，拉近科技與人的距離

●   綜觀計算機科技的發(fā)展史，凡是有科學技術或美學設計來顯著拉近人機之間的距離時，都會帶來巨大的商業(yè)效益。例如，40 年前從DOS+鍵盤輸入，改進到Windows+鼠標輸入，帶給主導企業(yè)可觀的收益。

●   到了15年前，從平板+觸控筆操作，改進到手從輸入關鍵詞查詢，又推進到LLM的文字(語音)從輸入關鍵詞查詢，又推進到LLM的文字(語音)輸輸入和交互，也將帶給有關企業(yè)巨大的商業(yè)利益。

2.8   杰出思維(8): AIGC不僅能生成作品，還能生成樣本(Samples)

來訓練決策式(或辨別式)AI模型。

●   生成樣本來訓練AI模型。例如，擅用基因醫(yī)學的GWAS分析，以及IC芯片設計的龐大特征(Features)數來生成樣本(樣本)，做為決策式AI模型的訓練數據，IC芯片設計、無人機作戰(zhàn)、企業(yè)投資等決策都有巨大IC芯片設計、無人機作戰(zhàn)、企業(yè)投資等決策都有巨大商業(yè)意義。

●   與上述的基因檢測分析、腸道菌相檢測分析一樣，因為IC的組成要素(如晶體管)的數量都是高達10億(Billion)級別的。使得這些元素之間的鏈接(Connection)的數據有一項重要特性特征(Feature)的個數非常大(如幾千~幾十萬)。因之，AI科技可以給予<半導體IC產業(yè)>一項禮物，即是：高維度大數據運算能力。

4   結束語

AIGC潮流就如同一個巨大的海流，程序員(碼農)就能水漲船高，積極轉型成為AI模型的組合創(chuàng)新高手。并且促進AI與IC芯片兩個行業(yè)之間的協同設計(co-design)，融合交流，逐漸成為<豐富美學&擅用算力>的AI產業(yè)新人才，并主導未來AI生態(tài)發(fā)展。

（本文來源于《EEPW》202407）