第246章 他還沒看過圖吧？

  第246章 他還沒看過圖吧？

  湯圓模型在雲垠的這批矽明生產的L100上已經遠程試部署過了，算子適配都做完了，單卡和小集群都沒什麼問題。

  st🍑o9.com最新最快的章節更新

  韓路一和趙文淵這次過來，就是為了做最後一步的驗收的，其中最關鍵的就是壓力測試。

  所謂壓力測試，就是一下發送大量的請求，看看現在的架構能夠提供最多多少人同時使用。

  按照計劃，在兩周之內，御風的推理數據都要遷移上來。這個時間很緊張，所以中間一點兒差錯都不能出。

  御風現在註冊用戶是兩百多萬，日活二十萬，單這個用量就快要把這五百張顯卡的算力用滿了。

  幸好鼎盛那邊送來的兩千張卡快到位了，下一步的擴容有了方向。但是鼎盛的卡是另一家國產卡，算子和指令集與L100重合的不多，等於要用，在L100上做過的工作就得重做一遍。

  這麼一看，就體現了英偉達CUDA體系的價值。當生態已經建立起來的時候，遷移成本高的可怕。

  韓路一沒有慌張，出問題是正常的，有他在，都可以解決。

  「現在的數據是多少？」

  「現在的每秒請求數（QPS）在十六。」

  韓路一挑了挑眉，來之前他們已經測算過了，要支持二十萬的日活，每個用戶每天都不止會發一條，多的可能幾十條請求。

  每秒請求數最少要在三十以上才行。

  而現在的架構理論上能跑到五十，就算考慮到調度損耗、通信損耗、框架損耗這些，保守的看，也能到四十以上。

  現在只有十六，只有最低標準的一半。

  趙文淵一邊說著，一邊把電腦中的後台視圖、監控曲線、輸出日誌都打開來在桌面上。

  「江松然聯繫過了嗎？」

  「剛才發過信息，他還在看。」

  江松然人還在海城，他入職的時候韓路一就保證過，絕不讓他出差，所以雖然是這麼大的事，韓路一也沒帶他過來。

  「開個視頻吧，一起看看，快一點兒。」韓路一說。

  劉或這邊已經用手機撥通了視頻。

  畫面里的江松然看起來也正在忙，頭髮很亂，背景是他的臥室。從早晨接到趙文淵的消息之後，他一直也沒閒著。

  「韓總，GPU利用率我們看過了，基本是滿負荷了，問題不在這。」

  看起來每張卡都在幹活，但是產出卻不快。

  江松然和趙文淵又一起去查驅動日誌。

  從軟體層面看，一切都很正常。

  最後，趙文淵把模型配置都調出來，和江松然一起看。

  配置沒問題。

  模型切分沒問題。

  並行策略沒問題一其實就這麼用肉眼看，能看出問題的概率更小。

  可是有的時候生產事故就是這麼難排查，就像在盲人摸象。

  所有的工具，各種監控數據，列印日誌，各種熱力圖、散點圖，都是為了幫你把這個象摸的更清楚。

  但是人類畢竟不是計算機，人類看不見計算機的思考過程，只能想像。

  當所有的摸象手段都不起效的時候，直接把代碼、配置文件拿出來，然後想像運行的結果，有的時候也能奏效。

  甚至可能越是大神，越是奏效。畢竟天才不能用常理來衡量。

  聽說馮·諾依曼當年極力反對使用高級程式語言（就是類似英語的程式語言）。他認為使用彙編就是和電腦交流最簡單的方式了。甚至傳說他能直接讀懂只有0和1組成的代碼。

  其實江松然和趙文淵之前都已經把相關的內容排查過了，現在當著韓路一的面又做了一遍，並沒有新的發現。

  韓路一打開視界，目光鎖定在電腦上，然後掃了一眼裡面機房。

  隨著視界升級之後，韓路一不再被接收信息的帶寬困擾，視界一開，就把周圍的信息都收集完了。

  然後他站起身，往旁邊的準備區走過去，給自己穿進機房的裝備。

  這邊江松然還在說他的推斷：「單機沒問題，小集群也沒事，大集群的量上不去，肯定是在集群層面，而且是大集群有，小集群沒有的東西。

  這邊，趙文淵已經注意到韓路一的舉動。

  「韓總。」趙文淵站起身追過去。

  韓路一已經穿戴完，他看了一眼趙文淵，說：「你也穿上，一起來看看。」

  趙文淵趕緊穿上鞋套、防靜電服和防靜電手環，跟著韓路一進了機房。

  劉或和張彪在外面沒進去。

  機房裡對靜電防範要求極高，不允許帶手機進去，而且即使帶進去也基本用不了，因為機房本身防火防震的需求，再加上裡面大量的金屬機櫃，天然就是一個法拉第籠，手機根本就用不了。

  此時，在趙文淵的眼中，眼前就是一排排冰冷的金屬機櫃，每一個都長一個樣。

  但在韓路一的眼中，眼前的景象卻完全不同。機櫃和機櫃之間的連接，數據流轉，都以不同的顏色，像水流一樣呈現在他的眼前。

  GPU、伺服器、交換機、光纖、埠、鏈路，所有這些東西都變成了一張複雜到超出人理解能力的、複雜的地圖。

  這張圖即使拿到其他人眼前，他們也無法看懂。

  太複雜了。

  但是韓路一理解起來卻全無障礙。

  他幾乎是一瞬間就定位了數據阻塞的來源。

  有幾組推理組之間的通信出了問題，節點和節點之間沒有物理直連，卻在邏輯上被分在了一起，數據從一個地方繞遠路跑到另一個地方，再繞遠路回來。

  看似只是一個小小的點，但這種細微的差別在大模型推理的並行通信里，這一小點會被反覆放大。

  韓路一開口了：「不是模型的問題。」

  趙文淵一愣，韓總，你已經解決了？這麼快嗎？

  韓路一回頭看了趙文淵一眼，發現他沒有要問問題的意思。

  他隨後用對講機和外面聯繫了一下。

  「問題在網絡拓撲。」韓路一說。

  聲音通過對講機、再通過視頻傳到了江松然耳朵里。他馬上在電腦上翻找起原始的網絡拓撲圖來。

  這是他自己設計的，為的就是把集群的效率打滿。

  張彪很快就換好衣服，拿著列印好的拓撲圖走了進來。

  圖和實際一對比，很快就能看出問題了。

  江松然原本設計的是為了降低推理組之間通信延遲，把幾個關鍵節點儘量放在同一個低延遲域裡。

  但云垠實際交付的時候，卻沒有完全按照這張圖來進行部署。

  他們使用了自己內部更標準、更容易維護的方法。

  普通的、對通信延遲不敏感的伺服器，這種接法完全沒問題，屬於為了可維護性做的小小犧牲，大家都可以容忍。

  但是對大模型的使用場景來說，這一點小延遲就會被放大很多倍。

  單點測試當然沒問題，整機測試也沒問題，因為問題出在伺服器間的通信。

  江松然的推斷其實是對的，再給他一段時間，加上趙文淵的現場排查，他們應該也能查出來。

  只是沒有韓路一這麼快罷了。

  趙文淵看著兩份圖，臉色變得很難看。

  他昨晚查了一整夜，什麼GPU、驅動、配置、算子、服務、調度，全都查了，結果問題不在他能看到的任何軟體層面。

  而在機房布線。

  還好韓總親自來了，趙文淵心想。

  江松然則在視頻那邊咽了口口水一韓總他是怎麼看出來的？他之前是不是連這個原始的網絡拓撲圖都沒看過？

  張彪這邊，已經迅速叫現場的運維工程師過來，通過節點間測速確認了問題。

  排查完之後，修復起來就容易了。還不到十分鐘，劉然就帶著兩個人跑了過來。

  「韓總，韓總！實在是不好意思。」劉然氣喘吁吁的說，「不知道你已經到了，不然我肯定全程陪同的。我聽說你這邊發現了點兒問題？」

  張彪上前解釋了一下。

  劉然的臉色有點兒難看了。

  這個事明顯是雲垠做錯了，明明是要討好的客戶，怎麼第一件事就沒辦好。

  「韓總，我的。」劉然趕緊說，「我現在就叫人來，加班加點兒給你換好。」

  韓路一背後有國網電力投資，這是他巴結都巴結不好的資源。

  韓路一對這些表面功夫倒是不在意，他現在只想看修復之後每秒請求數能達到多少。

  現在是爭分奪秒的時候，只要能做到三十以上，那就是勝利。

  劉然帶來的人真的是加班加點、全力以赴的在工作，幾個小時之後，線按照拓撲圖的要求重新接過了。

  趙文淵再次運行了壓測程序。

  每秒請求數緩緩上升。

  八。

  十六。

  二十七。

  三十九。

  五十一。

  最後停在了五十一，離理論極限還差了一點點。

  但是理論是理論，實際能做到這個水平，已經可以說相當厲害了。

  這就是江松然設計的鏈路的含金量。

  看到這個結果，在場的所有人都鬆了一口氣，包括一直等著看結果的劉然。

  韓路一看著機房裡亮起來的一排排伺服器的指示燈。

  湯圓，他製作的第一款大模型，終於在屬於自己的集群上運行起來了。

  從這一刻開始，他有自己的通用大模型了，從頭到尾，視界出品。

  （還有更新耶）