第270章 得一可安天下

  第270章 得一可安天下

  「不可能。」薛兆恆脫口而出。

  L100是他設計的，各項數據他了如指掌。

  湯圓閉源模型，他沒見過，也沒用過。

  但是能做到榜單第一，至少不會比開源的那些模型小。

  傳言說OpenAI的最新模型GPT—V有萬億級的參數，湯圓能至少也是千億的量級。

  而L100，隔壁的實驗室里就有一個L100的小集群在跑著，裡面最多只流暢運行過7B

  （七十億參數）大小的開源模型，連21B（兩百一十億參數）放上去都卡得不行。

  這離能運行湯圓這個級別的閉源模型還差著兩個量級的參數量。

  現在你說湯圓跑在L100的集群上？

  觀看最新章節訪問𝘴𝘵𝘰9.𝘤𝘰𝘮

  那通信效率怎麼解決的？L100的算子庫，他手底下的軟體團隊攻堅了一年多，才覆蓋了不到百分之五的使用場景，剩下的怎麼補齊？

  一瞬間，薛兆恆想了很多，然後他沉下臉來，緩緩開口道：「韓總，我不知道你說這話是什麼意思。」

  辦公室里只有韓路一和薛兆恆兩個人，他抬頭看了下門口，接著說：「如果你是想用這套口徑出去騙人，說矽明已經突破了英偉達的生態封鎖，再借著你源智的名頭，把矽明包裝出來，那恕我不能配合你。」

  韓路一知道薛兆桓對他有戒備，但是對他做出這個猜測還是始料未及。

  難道就沒有一種可能，算子適配的工程量是挺大，但是你矽明的團隊寫不出來的，我帶著源碼的團隊已經寫完了？

  這個可能性顯然從頭到尾沒出現在薛兆恆的腦子裡。

  誰信，他都不會信。

  無論是陸正平，還是周涵，他們都是外行人。聽說國產適配之後，只是認為韓路一做了一個技術突破，中國這些年各種各樣的技術突破可不在少數。

  但是薛兆恆太清楚寫這些算子適配和通訊協議所需要的工程量了。

  你說花了四五年的時間打磨，終於出了成果，那還可信一點。

  可是L100從量產到現在也就一年，那五百張卡交付給源智才兩個多月。

  兩個多月的時間，寫個毛線啊？

  韓路一本來打算把「源智已經完成了L100的推理適配，湯圓就運行在L100集群上」這件事當做收服薛兆恆和矽明技術團隊的籌碼。

  但是他卻沒想到，薛兆恆完全不相信。

  沒辦法，韓路一掏出手機，當著薛兆恆打開了雲垠數據中心湯圓推理集群的後台面板，直接給他看後台。

  他把手機放在桌子中間，轉了一下，讓它正對著薛兆恆。

  「薛總，這是實時數據，你看一下。」

  薛兆恆身體前傾，在後台面板上掃了一眼，然後伸出手滑動了一下。

  上面是集群負載的各種數據，實時調用量、平均延遲、顯存利用率、吞吐、錯誤率和任務分布等等。

  薛兆恆的眼睛盯著其中的幾個關鍵指標，一邊看一邊和他腦子裡的數據進行對比。

  很快，他就得出了結論。

  假的。

  L100的效率沒有這麼高。

  「既然是這樣，韓總，那我們沒有談的必要了。」

  這次薛兆恆說話的語氣已經沒有了開始的客氣，甚至壓抑著怒氣。

  他已經認定了韓路一是個要借著矽明招搖撞騙的野心家，已經盤算著要怎麼破壞這次交易了—雖然說實話，作為一個小股東，他能做的不多。

  但他寧願矽明破產，也不能眼睜睜看著矽明成為別人騙錢的工具。

  證明自己沒造假是一件很難的事情，因為一旦別人懷疑你造假，任何證據在他們看來都有可能是偽造的。

  韓路一已經經歷過很多次這種事了，但他沒料到的是，這個薛兆恆這麼固執，面板擺在面前了也不信。

  他也不在意薛兆恆話里的冒犯，提出了最後一個方法。

  「薛總，矽明有現成的測試環境嗎？」

  薛兆恆聽了這話，明顯一愣。

  現在還不放棄嗎？

  「有。」

  「什麼規模？」

  「隔壁的機房裡有一個小集群，三十二張，是我們做內部驗證的。」

  韓路一點了點頭，說：「三十二張夠了，薛總，不介意帶我去機房看看吧？」

  薛兆恆知道韓路一還是要堅持剛才那套說辭。

  他沒有拒絕的理由，而且，到這個時候，他心底也有了一絲鬆動。

  L100，真有這麼厲害？

  兩人站起來，一起出了辦公室。

  矽明的機房就在隔壁，嚴格來說，那也算不上是標準意義上的機房。

  只是辦公樓里一個房間改造的。

  既沒有冷暖風通道，也沒有濕度控制，更沒有靜電屏蔽。

  幾台伺服器機櫃就那麼立在房間的中間，風扇發出嗡嗡的響聲。

  機房裡沒人。

  這個時間，團隊都下班了，薛兆恆是為了見韓路一特意等在這的。

  但是他有機房和伺服器集群的全部權限。

  ——

  「韓總，您打算怎麼驗證？」薛兆恆問。

  「你自己也說了，L100集群想要運行千億級的大模型至少要解決兩個難題。」

  「是的，通信效率，和算子庫。」薛兆恆點點頭。

  雖然從大類上說只有兩個，可這裡面的技術挑戰可太多了。

  就拿算子庫來說，英偉達的生態是一點兒一點兒磨出來的水磨功夫，不只是算子全，他們還一直在調優。同一個運算給模型，在英偉達的顯卡上用CUDA，就是快；換了別的生態，就快不起來。

  L100要想做到同樣的事情，得軟體硬體架構等多個團隊的工程師通力合作，找到最高效率的參數。

  可以說，CUDA生態的根基就在這裡。

  「這兩個難題，我們解決了。」韓路一說這話的時候顯得輕描淡寫，熟悉他的人肯定知道他是故意的。

  薛兆恆對韓路一的風格還不熟悉，但是他也覺得自己被嘲諷了。

  你知道自己在說什麼嗎？

  韓路一沒理會薛兆恆的反應，從兜里拿出一個U盤。

  這U盤是他剛才在外面找劉或要的，裡面是空的，說話的功夫他已經把源智私有代碼庫里的適配文件用視界寫了進去。

  薛兆恆還以為這是韓路一提前準備好的。

  「這是源智的團隊重寫的運行時和算子適配，你可以試著用一下，再去部署一個開源模型。」

  聽了這句話，薛兆恆臉上露出將信將疑的表情：「你是說，源智拋開矽明提供的軟體層，完全重寫了？還能達到運行接近CUDA的水平？」

  韓路一沒說話，把手裡的U盤又往前遞了遞。

  薛兆恆接了過來，插進了機房裡連著伺服器集群的一台電腦。

  整個機房裡的伺服器都是內部區域網，他倒不太擔心U盤裡是病毒。

  但他實在不太相信源智有能力做到韓路一剛才說的那些事。

  那不真成中國英偉達了嗎？

  U盤裡是幾個編譯後的文件，文件命名很規範，恰好可以替換掉現在L100的軟體棧中算子庫和運行時的部分。

  甚至都不需要韓路一指導，薛兆恆就知道該把文件複製到哪，然後重新啟動了伺服器。

  重啟的過程中，這些新存入硬碟的二進位文件就會被加載到內存中，被伺服器集群使用。

  控制台的終端開始滾動日誌。

  L100backend detected.（檢測到L100後台）

  runtimeinitialized.（運行時已初始化）

  kernelfusionenabled.（算子融合已啟用）

  memoryplannerinitialized.（顯存規劃已初始化）

  multi—cardschedulerready.（多卡調度準備就緒）

  服務加載完成。

  21B模型開始進入運行狀態。

  薛兆恆的呼吸微微有些急促。

  他沒有去手動輸入問題，看模型的回覆。

  模型回復什麼，是做模型的人該考慮的問題。

  他只需要考慮硬體的性能和利用效率。

  伺服器里有矽明平時用來測試的腳本，可以大量生成模型輸入，對模型的承載能力進行壓測。

  薛兆恆沒有猶豫，開始運行測試腳本。

  監控上的數值開始發生變化。

  最先跳動的是顯存利用率。

  之前跑開源小模型，矽明自己的算子庫連顯存都分配不好，七成的顯存白白空在那裡。

  現在這個數字遠遠超過了30%。

  75%8%88%——

  最後差不多穩定在了95%的位置。

  壓測腳本在沒有檢測到回灌壓力之前，還在加大並發。

  現在實時的吞吐量數字已經達到了二十五萬詞元/秒。

  薛兆恆知道，同樣的測試，上一次跑的時候卡在兩萬就上不去了。

  在算力晶片上，真正能衡量軟體水平的是一個關鍵指標，叫模型算力利用率（Model

  FLOPUtilization，MFU）。但是這個指標沒有直接顯示在面板上，因為要計算它需要使用晶片算力的極限值。

  如果理論上晶片能跑1000TFLOPS，你的模型實際只用到了200TFLOPS，那MFU就是20%。

  跑21B模型，每生成一個詞元需要221B，即大概42GFLOPs。

  二十五萬詞元每秒對應25000042GFLOPs=10500TFL0PS。

  L100的理論算力是600TFLOPS，32卡集群就是32600=19200TFLOPS。

  10500/19200= 54.7%

  54.7%？

  薛兆恆心算完之後，總覺得自己算錯了位數。

  他在電腦上打開計算器，又重新算了一遍。

  真的是54.7%。

  要知道，英偉達最先進的H200顯卡，MFU的極限水平也只在60%左右。

  薛兆恆這個時候心跳快得就像他二十多年前和老婆結婚的那個晚上。

  他一直以為L100的思路不對，矽明走到今天的這個地步，是因為晶片設計失敗了。

  但是這一刻，他意識到，他缺的只是一套軟體。

  有了這套軟體，矽明就真成了中國的英偉達了。

  薛兆恆緩緩起身，回頭看向了韓路一，只見韓路一臉上正帶著若有若無的笑容看著他。

  「薛總，我沒騙你吧？」韓路一說道。

  薛兆恆依然能聽到自己胸口劇烈的心跳聲。

  這是這麼多年，他離自己的夢想最近的一刻。

  算力國產化，真的在他手中實現了。

  又深呼吸了幾次，薛兆恆才開口道：「韓總，對不起。」

  韓路一還沒來得及說話，薛兆恆又接著說：「我為我剛才的傲慢向您道歉，這套軟體的價值比L100大，比矽明大，我竟然以為您是個騙子。」

  韓路一上前一步，拍了拍薛兆恆的肩膀，笑著說：「薛總言重了，你這樣嚴謹的作風正是晶片研發中最需要的，我還指望你將來能帶隊做出更好的晶片呢。」

  「況且，軟體和硬體缺一不可，說不上哪個價值更大。沒有L100，軟體層也只是空中樓閣罷了。」韓路一給薛兆恆遞了個台階下。

  但薛兆恆心裡清楚，這個適配軟體層不是兩家合作攻堅出來的，而是源智的團隊全靠逆向自己做出來的，能做出矽明的，自然也能做出別家顯卡的。

  真正稀缺的根本就不是顯卡，而是這種快速完成軟體層適配的能力。

  矽明被選中，是他的幸運。

  就這幾百兆的適配層，U盤傳輸進來只要幾秒鐘，可是有了這幾百兆的文件，矽明二十億的估值怕是要翻一百倍以上。

  要知道，全中國都在找一個突破英偉達體系的國產化替代方案。

  而中國AI晶片市場的規模在3年前就達到了三千億。

  即使只拿下其中的百分之十，也是三百億的營收，完全可以支撐起一家幾千億市值的公司。

  薛兆恆雖然不是個成功的商人，但是畢竟在晶片行業做了這麼多年，對這些數字了如指掌。

  但是他沒有對源智提供的文件動歪心思，反而在內心對韓路一的信任充滿感激，要知道，他完全有可能偷偷留下備份，反手就把這件事告訴投資人。

  但是薛兆恆知道，源智團隊的技術能力，價值遠高於這幾百兆的文件。

  讓矽明和源智合作，才有可能繼續探索國產算力的極限。

  當然，薛兆恆不知道的是，韓路一之所以這麼放心的把U盤交給他，是因為機房裡的一切電子設備都在視界的監控之下，即使他真的想偷偷備份一份適配文件，也會在第一時間發現並刪除。

  還好，他沒機會發現這個魔法一般的防禦機制了。

  薛兆恆把適配文件刪除，集群重啟之後，和韓路一一前一後走出了機房。

  時間已經是晚上八點了。

  「韓總，時間有點兒晚了，您今天又舟車勞頓，我就不留您吃飯了。」薛兆恆說這話的時候臉上帶著不好意思的乾笑，「您好好休息，明天看完庫存，我再請您吃鵬城的特色。」

  說起來，薛兆恆這個創業公司的CEO，過得可比韓路一寒酸多了，不僅沒有秘書、助理，連司機也沒有。

  他這麼著急要見韓路一，本來就有失禮數了，又拖到這麼晚，想安排個宴請，身邊連個人都沒有，只好尷尬地送未來老闆離開。

  好在韓路一也不在意這些。

  在他看來，工作優先，能把薛兆恆拉進隊伍，將來死心塌地地搞研發，這幾個小時就沒有白花。

  矽明的交易成功之後，至少湯圓短期之內的推理算力是解決了。

  薛兆恆一直送著韓路一上了車，車門關上之前，韓路一再次看了一眼薛兆恆的屬性面板。

  【薛兆恆】

  【研發（晶片）SS|管理D穩定SS】

  【特技：晶片研發|供應鏈管理】

  【詞條：從無到有鳳雛】

  「韓總，回酒店？」劉或坐在副駕駛上，回頭問了一句。

  韓路一回頭看向陸明洲：「明洲，你來了兩天了，吃過什麼好吃的館子沒？咱們先去把晚飯吃了。」

  說完，韓路一看向窗外。

  臥龍鳳雛，得一可安天下。

  現在兩人都在我手，英偉達，你又將如何應對呢？

  （還有更新耶）