第466章 下一波算力

  第四百六十四章 下一波算力

  𝚜𝚝𝚘𝟿.𝚌𝚘𝚖提醒你可以閱讀最新章節啦

  趙文淵盯著研究院員工們想看又不敢看的目光，抱著紙箱回了辦公室。

  秘書方芳看見他走進來，小嚇了一跳，差點兒以為自己的老闆突然被裁了。

  然後反應了一下，抱著紙箱是從外面回來，不是出去。

  再加上韓總也沒來。

  方芳敲了敲頭，心想，看來是最近看職場短劇太多了，被無腦劇情搞腦殘了。

  她趕緊起身接過紙箱，往裡面瞟了一眼，一個白色的頭盔，看著倒是挺精緻的，還有一個銀色的機械手，反射著金屬的光澤。

  這是什麼新買的手辦嗎?看著和復仇者聯盟里的那個手套還挺像的。

  感覺確實是趙總會喜歡的風格。

  「趙總，我給您擺到書柜上?」方芳問道。

  趙文淵奇怪地看了她一眼。

  「擺書柜上幹什麼，我一會兒接電腦上。」趙文淵說完抬手看了一下表，說道：「先在你這放一下吧，我先去開會。」　　下一個會是和江松然的算力會，正好要聊豆汁兒模型的應用了。

  走到會議室，小牛他們幾個負責豆汁兒模型的研究員已經坐在裡面了，看到趙文淵進來，紛紛起來叫了聲「趙總好」。

  趙文淵對他們輕輕點了點頭，說道：「都坐都坐，小牛，你開電腦接一下線上會議。」

  很快，視頻接通，對面也是一個會議室。

  出乎幾人意料的是，除了江松然和他手下負責算力基礎設施的總監、高級專家之外，韓路一竟然也在會議室里。

  「韓總好。」趙文淵趕緊打招呼。

  韓路一點點頭，說道：「我剛才來找老江，正好碰上你們要開碰頭會，不介意我旁聽一下吧?」

  這話一出，除了趙文淵之外的人都明顯緊張了起來。

  跨部門協作本來就不容易，大老闆突然出現在會議里，本來準備好的演示和交流都一下子感覺準備不足了。

  像小牛這樣從海城時期就在的老員工還好，一些在京城入職的研究員，本來和韓路一接觸的機會就不多，心裡難免更加忐忑起來。

  會議開始，趙文淵先定了議程。

  「今天這個會議呢，主要是給兩邊的團隊定個調，我們研究院最新研發出來的豆汁兒模型，它能做什麼、不能做什麼、適合做什麼，功能方面我上午已經給江總演示過了，一會由小牛來給大家再簡單地過一遍。然後主要討論一下接下來雙方怎麼合作，如何把這個豆汁兒模型放到調度層里。最後做一個簡單的排期。」　　趙文淵說完，向韓路一問道：「韓總，您看還有什麼要補充的嗎?」

  韓路一想了想，說了一句：「我說一句吧，開會這種事情要開到點上，如果現在在場的誰覺得不能在這場會議里貢獻意見，只是想來跟進進度的話，可以先離場，之後看會議記錄也是一樣的，不用在這浪費時間。」

  韓路一說完，看了一圈，倒是沒有人離場。

  然後他接著說道：「還有就是，每場會議開始之前都應該有預期產出，我剛才聽了一下，這場會開完，會把合作計劃和排期定下來，是吧?會議結束的時候記得總結一下。」

  說完之後，韓路一對著屏幕點了點頭，說道：「小牛，開始吧。」

  小牛站起身，清了清嗓子，說道：「韓總，江總，我先給大家做一遍演示。」

  小牛共享屏幕，做了一遍演示，和高管例會上趙文淵做的演示基本一樣，海城會議室里，基礎設施部門的員工都是第一次看到成果，心中初步滿意，但是也不免有著懷疑。

  單個請求做的又快又好，就是不知道並發上來了之後表現如何，以及會占用多少資源。

  豆汁兒要代替湯圓來做調度輔助，除了精度不能拉胯之外，還有一個問題就是它本身不能太消耗算力，不然省出來的算力都用來跑調度器了，那就完全沒有意義了。

  江松然率先提出了這個問題：「這個豆汁兒模型，想支持十萬qps的話，需要用多少算力?多少資源?」

  現在整個起源所有自有算力的吞吐量大概就在十萬qps這個量級，江松然所以有這麼一問。

  這是把豆汁兒接入每一個調度請求所需要的資源。　　小牛拉出一張圖標來，說道：「江總，我們已經做過壓測了，我們自己使用的八卡l100，大概能做到兩萬四千的qps。」

  這個數字讓海城會議室的人都是一驚。

  那豈不是說，就算加上資源冗餘，想要服務整個起源所有的推理請求調度，也只需要用四十張l100左右的算力?

  這個豆汁兒模型也太小太省算力了吧。

  江松然對身邊的基礎設施總監陶封說道：「老陶，剛才趙總那邊說，豆汁兒模型的判斷準確率能達到98%，按照這個數據估算，如果現在把每一步算力調度都跑一遍豆汁兒模型，按照我們之前的估算，大概能提高多少效率?」

  陶封在面前的筆記本電腦上迅速操作了幾下，回答道：「之前我們測算過，總體算力的百分之三十左右是由於資源錯配被浪費掉的，如果能達到這個準確率的話，應該至少能救回來百分之二十。」

  現在兩個數據中心一共部署的三萬張左右的計算卡，能從裡面優化出百分之二十的性能的話，就意味著憑空多了六千張卡。

  四十張卡，能換出六千張卡的算力來，這就是豆汁兒模型的價值。

  韓路一在旁邊暗自思量，離趙文淵之前要求的萬卡訓練集群還有點兒差距，還得再想想辦法。

  按照現在新買的卡一直在持續部署，加上國產算力聯盟的適配工作還在更多的廠家推進，也許再過兩個月，這幾千張卡的缺口也就補上了。

  只不過不知道到時候起源對算力的需求又會增長成什麼樣子。

  韓路一在心中算數不提，陶封和他帶過來的高級專家已經在和小牛討論聯調的具體細節了。　　「我們肯定要灰度上線，現在的體量，首批先接入百分之一的伺服器，等到效果穩定了再慢慢往上加。」陶封說道。

  「可以。」江松然點點頭說道。

  產品發布一般沒這麼麻煩，但是基礎設施是整個公司所有產品的基石，如果出點兒什麼問題，所有的產品都受影響，所以格外得謹慎。

  「那就剩時間了，先不談上線，只做改動的話，大概要多久?」江松然轉頭問向另一位參會的下屬，基礎設施部門的高級專家，譚應許。

  譚應許沉吟了一下，說道：「這個接口很簡單，把調用湯圓的地方換成調用豆汁兒，返回結果的解析邏輯要大概換一下，如果著急的話，我今天就能做完。」

  韓路一在旁邊聽笑了。

  他有種看見自己當年在鼎盛做排期預算的時候的感覺。

  「別一天，一周吧。」韓路一開口說道：「光改完了還不夠，記得把測試跑通，這個改動影響太大，沒必要這麼著急。」

  按照韓路一總結出來的經驗，做計劃的時候的估算肯定是不準的，如果把第一時間估算出來的時間先翻倍，再加三天，就和最終實現需要的時間差不多了。

  做基礎設施最重要的就是立規矩，規矩立住了，以後的路走得才穩。

  奇怪，怎麼有什麼奇怪的聲音傳進來了。

  譚應許聽得一愣，他也在不少大廠工作過了，讓加班加點「今天晚上趕出來」的命令他見過不少，這主動給加時間的，他還是第一次見。　　不過這對他、對團隊來說都是好事，譚應許當然不會反駁。

  「好的，韓總。」

  江松然看了看，總結道：「聯調方案剛才已經定下來了，現在排期也定了，那我們就爭取下個星期這個時候，可以灰度百分之一。如果哪個部門有什麼新信息，大家及時同步。」

  眼看著視頻會議要掛斷了，趙文淵突然想起了什麼，說道：「對了，韓總，今天上午夢腦科技那邊也有新進展，我什麼時候和您匯報一下?」

  他心裡想顯擺的是剛報回辦公室的那箱寶貝。

  韓路一回答道：「我和老江還要再碰一下別的事，一會兒我再找你。」

  ……

  韓路一和江松然分別坐在董事長辦公室茶几兩邊的沙發上，韓路一讓劉或打了兩杯咖啡過來。

  「怎麼樣，l200的進展還順利嗎?」接過咖啡，韓路一開口問道。

  現在江松然任算力方向的高級副總裁，總覽從晶片研發到數據中心管理，再到基礎設施建設的各個環節，所有對l200的進展，韓路一先問江松然。

  晶片研發在各個企業都屬於保密級別最高的領域之一了，江松然手頭沒有資料，全靠腦子裡知道的進度來講解。

  「老薛那邊推進得還算順利，咱們之前模擬設計的新架構在仿真平台上的數據很驚艷，在冰芯團隊的幫助下，有幾個物理限制做了調整。互聯方面，現在是兩邊各自研發，但是接下來可能得讓沈仲和團隊來一越海城。」　　韓路一點了點頭，說道：「我這次去京城見他，他也吵著要帶團隊過來呢。他們很期待和冰芯的合作。」

  江松然笑了一下，說道：「和冰芯合作的感覺是不錯，但是我猜，他們和我們合作的感覺也不錯。」

  韓路一聽懂了江松然的話。

  冰芯團隊在拿到起源之前共享過去的最新工具之後，現在的工作效率不知道提升了多少，連帶著過來交流的工程師們都喜氣洋洋的，一見到起源的員工就對這新工具讚不絕口。

  「所以下一個時間節點是——」韓路一說道。

  「是九月，設計稿、還有幾個團隊的技術整合還在進行，八月底之前我們一定會定稿，能趕得上在年底流片。」

  看著江松然一副志在必得的樣子，韓路一也不再多說，只是囑咐了一句：「要是有什麼意外情況，或者是解決不了的問題，自己攻堅歸自己攻堅，別忘了來跟我說一聲。」

  「啊?」江松然一愣。

  然後他突然想起來，韓路一身後估計還有一個國家研究院的合作團隊呢。

  就是當初給寫算子的那個。

  莫非，韓總這個關係還留著——不對，還拓寬了?連晶片領域的專家也有?

  「好的，韓總，有什麼困難我們一定第一時間讓您知道。」江松然說道。　　聊完了l200的進度，韓路一突然感慨了一句：「真是急不來啊。」江松然心裡何嘗不是一樣的感覺。

  自從他入職以來，公司的算力好像就沒有富裕過。

  要說最富裕的時候，可能還是當初買第一批五百張l100的時候——那時候湯圓都還沒對外上線呢。

  江松然不由得附和了一句：「這種事情，是急不來，韓總您也不要急，穩紮穩打，都會有的。」

  韓路一看著江松然，突然問了一句：「文淵那邊準備騰出一萬張l100來訓練湯圓2.0，你那有什麼辦法?」

  江松然又是一愣。

  啊?輪到我來想辦法了嗎?

  咱們現在滿打滿算才三萬出頭的卡，l100也才一萬八千張，還是紙面算力最高，利用率也最高的。

  從裡面騰出一萬張l100來做訓練，趙文淵是真敢開口啊！

  江松然猶豫了一下，說道：「要不，咱們還是去租雲算力?貴是貴了點兒——」

  現在國內的算力本就緊張，凡是自己有卡的大廠哪個不是正在緊鑼密鼓地搞自己的大模型，願意拿出來租的少之又少。

  再加上顯卡本身的價格也是一路飆升，相對應的，租金自然也就貴了。　　之前他們就測算過，如果不能拿到優惠價，就這麼去市面上租運算力的話，因為湯圓的定價並不算高，可能連算力成本都覆蓋不了，反而還得虧錢。

  除非能拿到便宜的算力。

  這對海外的很多大廠都不算是致命的問題，偏偏對中國廠商來說就困難重重。

  江松然正想著，突然聽到韓路一說道：「貴——」

  「有了豆汁兒和新的調度架構之後，還顯得貴嗎?」

  聽到這句話，江松然猛然一驚！

  對啊，新調度系統帶來的利用率提升是全方位的，可不止是在起源的自由機房裡。

  如果是使用雲算力，效率也提升了。

  已經完全可以覆蓋成本了啊！

  （還有更新耶）