第442章 系統一和系統二

  第四百四十章系統一和系統二

  前後不過兩分鐘的時間，大會議室就清空了，只留下韓路一和江松然兩人。

  視頻里的趙文淵開口問道：「韓總，是因為算力的事兒?我剛才聽老江的意思，進度好像不太夠吧?」

  江松然點了點頭，確實不夠。

  現在是巧婦難為無米之炊，調度架構做得再好，總的計算卡就這麼多張，很難再騰挪出更多的算力了。

  韓路一說道：「把你們兩個留下來就是想聊這件事，老江，上次咱們做的調度優化，你先給文淵講一下。」

  sto9.c🎺om提供最快更新

  韓路一說的是在湯圓1.0模型的api正式發售之前，基礎設施部門在任務調度上做的一些新的優化架構。

  當時碰到的難題是每一個推理任務進來，伺服器端都沒辦法判斷任務的複雜程度，也就沒法分配合適的資源，如果把大任務分配給了小資源池，任務完成不了，就要重試；反過來，如果把小任務分配給了大資源池，實際上用不上那麼多算力，就造成了資源的浪費。

  在韓路一的建議下，江松然引入了用湯圓自身來進行調度判斷，這種判斷任務當然都是小任務，初次判斷之後就能規避很多失敗場景。因此在相同的算力下，起源的推理集群能支持的並發量直接增加了三分之一。

  但這是江松然他們在應用端對湯圓的一種應用方式，現在韓路一把趙文淵叫過來，是想看看在模型層面上能不能再做一些優化，把性能再提高一些。

  沒辦法，如果起源也能像谷歌、penal一樣算力富裕，甚至能有鼎盛那麼多算力也行，那麼這些在軟體層面的優化就並不急迫，甚至不做也行。

  但是現在硬體方面的算力捉襟見肘，就只能從軟體層面想辦法了。　　江松然點了點頭，把困擾基礎設施部門許久的問題說了出來：「用湯圓來做初次的調度判斷確實極大的提高了資源分配的效率，但是我們也逐漸發現了兩個問題。」

  「什麼問題?」趙文淵問道。

  「速度太慢了。」江松然說道，當初韓路一提出用湯圓模型來做路由的時候他就想到了這個問題，每秒鐘數萬的並發請求，如果每一個請求都要提前過一遍湯圓，相當於直接把請求數翻倍了。還是韓路一提出了一個折中的方案，對於多步驟的請求，只對第一步進行任務難度的估算。

  但即使是這樣，一次估算也要消耗數百毫秒的時間。可別覺得幾百毫秒很短，在高並發場景下，幾百毫秒的延遲可能就會引發雪崩效應——延遲導致請求超時，超時又會引發重試，無效請求增多，甚至導致整個服務不可用。

  「趙總，湯圓本身是大參數模型，即使是採用了稀疏架構，一次幾百毫秒的用時也不是調度層能夠承受得起的。慢是第一個問題，還有因為慢導致的第二個問題。湯圓用來做任務預測精度雖然高，但是延遲太長，我們只敢在任務鏈開始的時候加上，之後就只能依賴第一次的預測結果，可是有些用戶請求是在交互的過程中突然增加了複雜度，這就導致還是使用第一次的測算結果就導致不准。」江松然說道。

  韓路一在旁邊也聽懂了，江松然雖然說了兩個問題，但其實本質還是速度慢。

  因為速度慢而不敢每次調度都調用一次，導致精度漂移。

  「文淵，這就是我把你專門叫過來的原因，」韓路一開口說道， 「上次我們聊過的，給湯圓做一個輕量版，你覺得能不能解決這個問題?」

  在專業旗艦版被驗證過性能之後，再推出參數更小、能力稍弱但是成本低很多的輕量版本來就是業內通行的做法。

  一般這種輕量版都是通過蒸餾原始的旗艦模型後訓練出來的。所謂蒸餾，指的是把一些高難度的問題輸入到旗艦模型中，讓它給出答案，再用這些問題和答案作為訓練集來給輕量模型做後訓練，這樣就能以較低的成本讓輕量模型擁有旗艦模型70%到80%的能力，實在是一種比較有性價比的做法。

  當然了，你也不一定要去蒸餾自己家的旗艦模型，用同樣的方法去蒸餾別家的旗艦模型也是可以的。自從湯圓api開放以來，起源集團這邊已經發現並且捕捉了不少試圖對湯圓1.0進行蒸餾的行為

  了，很多請求都來自於美國。　　聽了韓路一的話，趙文淵沉吟了片刻。

  輕量模型確實在這方面有所幫助，甚至於可以考慮像當初的湯圓0.1那樣，使用一個極小的模型來進行任務複雜度預測——只要能保證預測精度不會掉得太離譜。

  但是——

  趙文淵開口說道：「你們有沒有聽說過系統一和系統二?」

  韓路一和江松然對視了一眼，同時點了點頭。

  系統一 (system 1)和系統二 (system 2)這個概念源自於諾貝爾經濟學獎得主丹尼爾·卡尼曼的研究，在他的科普暢銷書《思考，快與慢》里有過詳細的闡述。

  人的大腦在思考的時候有兩套系統，一種運轉極快，非常善於快速做出判斷，但是因為沒有激發深度思考，也比較容易被噪音干擾，這個叫做系統一；另外一種模式叫做系統二，需要人主動花費精力仔細思考，花的時間更長，最終得出的結論也更準確。

  這本書當然不是計算機領域的著作，但是它足夠暢銷也足夠有名，兩人恰好都讀過。

  其實趙文淵和他的研究者同行們當初能夠提出思維鏈 (ct，cain f tt)的概念，也正是來源於對人腦系統二的借鑑。

  只是不知道他突然提示這個來幹什麼?

  韓路一說道：「這和我們討論的內容有什麼關係?你是想說，我們可以藉助系統一來進行對任務複雜程度的快速估算?」

  說到這，韓路一突然意識到什麼，問道：「我們剛才討論的用輕量模型來做路由，不就是使用的系統一的思路嗎?」　　哪知道趙文淵搖了搖頭，說道：「韓總，您說的對，但是還不夠，您知道在人腦的決策系統中，系統一之所以能比系統二更快，還有一個重要原因是什麼嗎?」

  （還有更新耶）