第137章 方案順利通過驗證

  第138章 方案順利通過驗證

  「老婆，你先帶著女兒玩一會兒，我去書房處理點兒工作，就一會兒！」思路湧來，郝成回到家不工作的承諾又要食言了。

  「十點！」寧薈能怎麼樣呢，還不是得由著他。

  本章節來源於sto9.co🎈m

  「用不了，最多一個小時！」郝成伸出一根手指指著燈：「我保證！」

  「德性！」寧薈笑罵了一句，心裡也是感嘆：忙點就忙點吧，至少比起去年，這看起來開朗了許多。

  ……

  今天確實不費什麼腦筋，因為相關的知識早就在從前整理過了，只是當初沒有重視。

  來到書房，稍微翻一下之前記錄下來的東西，郝成的思如泉湧，一下子就全都冒了出來。

  如果說模型的訓練提升是在做加法，讓模型變得更大更強，那裁切、量化、蒸餾就是在做減法。

  很多人可能會有疑問，做減法，那不是讓模型變得更弱了嗎？

  理論確實是這樣，但有時候，弱不弱的其實不是特別重要，只要使對了勁兒，一樣能造的嗷嗷叫，發揮很大的作用。

  比如，有些神經元節點的權重非常小，對模型加載信息的影響微乎其微，切掉它們，精度不會降太多，但卻能大大的減少資源消耗。

  還有，像小沙這樣全量全知全能的模型，其部署和每一次的相應運算推理，都需要消耗較大的算力資源。但事實上，每一次都是確有必要的嗎？

  顯然並不是！

  就拿小沙現在應用最廣的軟體開發能力來說，它就只需要精準需求的理解以及代碼編寫能力就夠了，至於慢慢在增強的情感映射、主觀判斷等能力映射這些，那就完全沒有必要！

  不僅消耗了更多的算力，還拖慢了相應速度。

  而且即便是需要的部分，也可以分層去處置：

  還是拿軟體開發能力來說，最粗略的，那就可以分為兩部分：一部分是需求理解，另一部分是根據需求去做開發。

  而這第二部分，那就只需要一個「軟體開發」的行業模型就夠了。

  所以，先在輸入端就將用戶需求分解，然後將小沙按需裁切為軟體開發、法律服務、安全服務等小模型，根據分解的需求去調用其中一個，或者幾個。

  就比如之前被視為經典案例的小沙第一次庭審，那次的應對也不過是需要三個基礎能力：語義理解、法律服務、軟體開發能力。

  只有極少數的情況，才需要去動用小沙的全量模型。

  即便需要全量模型，全程調用全量模型，和只在有需要的步驟去調用全量模型，消耗的資源也是大相逕庭的，但結果可能是一模一樣。

  ……

  「訓練提升難住我了，裁切蒸餾還不是手拿把掐！」

  深夜課堂學了這麼久，郝成還是有幾把刷子的，微意識體的模型訓練力有未逮，但壓縮郝成還是有辦法的。

  更何況，郝成還有小沙這個絕佳的輔助工具。

  「小沙，幫我統計並分析一下所有的用戶行為，並將他們最常使用的能力和功能分類列舉出來，從大到小進行排序。」

  原本就這個工作量，沒有十天半個月都不可能完的成，但現在有小沙，所需時間頓時縮短到頃刻間。

  郝成現在的思路就是：將小沙完全體作為全量模型，壓陣，輕易不出，只有當問題確實解決不了了，才轉到這裡。

  然後就是分門別類，根據分類將小沙分別壓縮成若干個各自領域和專業的小模型。

  後續，用戶請求，就先經過甄別，由對應領域的小模型處理。

  比如，與人的交互，當然是語言模型最先接手，然後一步一步去處理。

  至於AI使用元素級應用、AI保障網絡完全、AI開發應用和軟體等等這些，第一步就可以省了——AI與機器的交互，還通過語言模型再轉一道，除了消耗資源之外，毫無意義。

  ……

  第一個階段方案的雛形迅速的被設計了出來。

  這個階段，郝成也不求精，就干一件事兒——裁剪，也就模型剪枝。

  比如，第一個要做的小模型：語言識別。

  那就把除語言識別能力以外的能力全剪掉，你只需要識別語音，轉成文字就可以了，連理解都不需要，那是第二個模型的事兒。

  依照這樣的理論，在郝成的指導下，小沙本「人」操刀，一個又一個的專業或者複合小模型迅速誕生。

  ……

  翌日上午，一到公司，郝成就喊來了曹松：「將我們辦公區這兒的這個算力伺服器騰出來，負載節點直接停了就行，會自動分流到其他伺服器。」

  無一錯一首一發一內一容一在一一看！

  這個算力中心還是最初來自華為，總體規模也比較小，現在原本承擔的任務就不算多，郝成準備直接停掉它的對外服務，作為內部AI訓練的實驗來使用。

  也藉此機會對自己使用的小沙和對外提供服務的小沙提供一個物理區隔。

  而今天，郝成要做的，就是試試小沙昨夜工作了一夜的成果。

  「對了，不要用小沙，你手動去操作。」

  「好的！」曹松應著，剛他還納悶呢，像這種操作喊小沙就是一句話事兒，為什麼還喊自己來干，郝成這麼指示，他才恍然大悟：

  按照最近節點優先的原則，在這兒呼喚小沙，大概率接入的就是這個伺服器，讓小沙操作把這個運行它自己的伺服器給停了，容易造成不可預知的後果。

  約莫半個小時過後，郝成接到了曹松已經處理完成的消息，迅速的讓小沙配合自己，將一個又一個的具有專業能力的小模型分別部署。

  然後，將自己手機所用的設備，包括手機、平板、軟體開發接口服務等直接跳過分發負載，指定指向創新創業中心這邊這個服務的IP入口。

  「小沙，你怎麼樣？」郝成開口詢問。

  【在呢，一切如常。】小沙回復道。

  郝成也是如往常一樣呼喚著小沙，讓他幫自己處理各種各樣的事務、中轉各種各樣的審批和消息，一個上午下來，和往常並沒有任何能夠感知到的差異。

  「方案順利通過驗證！」

  郝成已經初步下了這個結論，而下一步就是要嚴謹的測試，看它究竟能夠節省多少算力資源了。

  (本章完)

  （還有更新耶）