第443章 新模型，新名字

  第四百四十一章新模型，新名字

  「什麼?」韓路一問道。

  他知道由於大模型本身和人腦的相似性，很多研究人工智慧的計算機科學家都會閱讀一些腦科學的書籍，他自己也看了幾本流傳廣的暢銷書。

  但是真到一些細節方面他就抓瞎了。

  🎤sto9.com為您提供最快的小說更新

  旁邊的江松然也摸不著頭腦。

  但是看著趙文淵在視頻里興奮地樣子，兩個人都意識到，這位研究院的院長恐怕還有什麼新東西能拿出來。

  「是決策的可選項本身。」趙文淵說道， 「系統一最擅長做的是是否類的判斷，那種幾選一的也可以，但是一旦決策的可選項超過一定數量，系統一幾乎不可能做出選擇。」

  「我給你們舉個例子，比如說我現在問你們想不想喝豆汁兒，你們是不是立即就可以得出答案? 」

  江松然還沒什麼反應，韓路一的臉色已經變得難看了。

  這個確實是系統一就能得出答案的問題。

  「如果我問你 vim好還是 emacs好，你是不是也能馬上就得出答案?」趙文淵接著問道。

  韓路一和江松然幾乎同時出聲。　　「當然是 vim。」這是韓路一說的。

  「emacs。」這是江松然說的。

  兩人又飛快地對視了一眼，只是眼神中的含義並不相同。

  韓路一的眼神中分明是：「原來你是個 emacs黨。」江松然則有些惴惴不安，竟然在最不該站錯隊的地方站錯隊了。

  故意問出這個問題的趙文淵此時正在偷笑，他早就通過觀察發現兩個人對代碼編輯器的偏好不同了。

  「但是如果我現在問你，在二十種果醬里選一種，你幾乎不可能一瞬間就做出選擇；如果我讓你現在寫一篇兩百字的文章，別看只有兩百字，這也不是系統一能夠完成的任務。你們看到問題的所在了嗎?」趙文淵說道。

  韓路一思考了一下，說道：「你是指輸出的格式吧，無論是是否問題還是二選一問題，他們的輸出格式都極為簡單，不需要一個詞元一個詞元的進行生成。」

  江松然在旁邊補充道：「聽起來還有答案域的問題，輸出的答案域覆蓋得越廣，計算也就越複雜。」

  兩人這個時候都意識到趙文淵為什麼會把系統一和系統二的話題拿出來討論了。

  因為對計算任務進行複雜度預測，然後分類，然後規劃調度，這個任務天然就是一個系統一的任務，答案域極為狹窄，無非是簡單、中等、複雜三檔，想要分得再細緻一些，五檔也綽綽有餘了。

  韓路一開口問道：「所以這類任務，有比使用湯圓的輕量版更好的解法?」

  視頻里的趙文淵露出一副高深莫測的笑容：「有的，韓總，有的。」　　然後他開始解釋道：「當初 transfrmer架構剛出來的時候，用的是編碼器-解碼器 (encer-ecer)架構，但是現在的類pt架構的大模型，包括湯圓，全都使用的是只有解碼器的架構。這當然是因為這個路線足夠優秀，能夠解決非常複雜的問題。但是實際上不同的路線適用的是不同的問題，我們剛才討論的這種分類問題，有一種更適合的架構，就是只有編碼器的架構。」

  江松然此時驚訝地出聲道：「你是說bert?」

  韓路一慢了一拍才反應過來。bert是谷歌在2018年提出的一種技術路線，在pt出來之前也曾經在機器學習領域非常熱門，但是隨著類pt模型成為市場主流，現在已經漸漸沒什麼提起了。

  「你是說?」韓路一問道。

  「傳統的bert大概是在幾億參數這個級別，而且因為不需要自回歸生成預測，它不需要反覆地進行前向運算，只需要一次就能得出結論，對於我們剛才說的分類任務，完全可以做到50毫秒以內。」

  「多少?」江松然的呼吸都變得急促了。

  「還不止，我剛才說的是通用分類器，使用這個思路，我們完全可以訓練對調度任務進行特化的分類器，湯圓api開放到現在我們積攢的調度數據就足夠進行訓練了，這種情況下我們連幾億的參數都不需要，可以把參數壓縮到千萬這個級別，這種模型的一次運算——」

  趙文淵一口氣說了一大段話，也是越說越興奮，說到這特意停頓了一下，才伸出兩隻手，五指張開，說道：「我說一個數，10毫秒。」

  「不可能！」江松然脫口而出。

  韓路一倒是沒有表態，現在還只是在討論技術方向，10毫秒的任務分類確實很誇張，這個速度都能趕上用代碼寫死的規則集分類了，更別提用模型動態分類了。

  但是即使達不到10毫秒，50毫秒也足以讓每一次任務調度都跑一次這個新的分類器模型了，如果還能保持現在湯圓1.0的精確度的話，整個調度層的效率還能再往上提一大截。

  同樣的硬體，同樣的算力集群，通過這種優化就可以發揮出比之前高好幾成的效果來。　　「文淵，這個技術思路你想了多久了?」韓路一問道。

  視頻里的趙文淵一愣，然後「嘿嘿」笑了兩聲，說道：「韓總，我是咱們討論的時候剛想出來的。」

  霍，聽起來像模像樣的，竟然還是剛剛頭腦風暴出來的。

  「那如果做這個技術驗證，需要多久?」韓路一繼續問道。

  「幾千萬參數的話，包括前面的數據清洗加上後面的調參，我估計一兩個星期就能做出個原型出來。」趙文淵想了想，說道。

  然後他看了一眼韓路一，突發奇想道：「韓總，您要不要——」

  韓路一開口打斷他：「我最近很忙，沒工夫幫你洗數據。你先安排人把這個模型做出來，讓老江這邊測試一下，看一看分類的準確度和上生產環境的實際延遲。」

  趙文淵遲疑了一下，問道：「韓總，這個東西有多優先?」

  韓路一笑了一下：「要是真有你說的那麼好用，你要的訓練算力就能一下省出來一半，你說有多優先?」

  趙文淵神色一肅。

  懂了，最高優先級。

  江松然也適時開口道：「趙總，你的新模型出來之後第一時間告訴我，我安排基礎設施部門馬上測試。」　　給趙文淵和江松然下完了任務，韓路一的思緒又飄了出去。

  剛才他們討論的是算力調度里的複雜度預測和分類任務，但是其實真實的使用場景里這種答案空間有限，需要快速運算的場景還有很多啊。

  比如御風的任務調度，如果後台使用混合模型，哪些任務使用旗艦模型，哪些任務使用輕量模型；再比如湯圓回答問題的時候，哪些可以使用自有知識，哪些需要聯網搜索信息；甚至脫離開起源現有的產品體系，如果把這個新模型當成一個單獨的產品來出售呢?是不是有企業的業務場景也合適，哪些用戶反饋可以自動回復，哪些需要轉人工客服?

  總之，只要是分類類型的任務，這個架構就是天然適合。

  「韓總，這個新模型和湯圓的關係不大，要取一個新名字嗎?」趙文淵問道。

  韓路——想，確實有這個必要。

  既然湯圓已經是一種食物了，新模型也用食物好了。

  他腦筋一轉，開口說道：「就叫豆汁兒吧…」

  （還有更新耶）