第201章 五百卡？起步

  第201章 五百卡？起步

  下午，韓路一終於見到了第一天入職的江松然。

  兩人在十三樓找了一個空會議室。

  簡單的客套了兩句，江松然就忍不住問起了工作：「韓總，今天上午趙總帶我看了一遍進度，說實話，我很震驚，比你在醫院給我看的那些成果更驚人。」

  韓路一知道江松然已經看過源智科技藉助智能體能達到什麼效率了。

  這是在短時間之內追趕英偉達的CUDA生態，把不可能變為可能的關鍵。

  拿出幾個算子的適配成果，很牛，但不能改變行業。

  拿出一個能穩定快速完成算子適配的系統，那就不一樣了。

  江松然的眼界能看出來這意味著什麼。

  但是同時，韓路一也好奇江松然作為一個AIInfra專家能給源智科技帶來什麼。大的方向上他已經想好了，要做到兩點。

  閱讀更多內容，盡在sto9.co🎈m

  一是擁有自己的訓練和推理棧數據跑在別人的雲上，他不放心。

  二則是使用國產化替代這是一件一舉兩得的事，首先英偉達的卡因為種種原因，他就根本買不到；其次他有能力也有動力率先完成算力的國產化替代，如果能做到，不僅自己的數據中心的問題解決了，也能打開更廣闊的國內政企市場。

  但是方向定好了，具體實施還需要實際在這個行業里做過的人才。

  這也是為什麼江松然對源智科技這麼重要的原因。

  江松然是行業大佬，技術深厚不假，但是他對源智科技最大的價值其實在於另外一點：江松然在之前的那家創業公司是做一號員工、高管的，他有過把數據中心從零到一搭建起來的經歷，而且他的經驗橫跨軟體和硬體。

  這樣的人才遠比一個技術大牛更加稀缺。

  可以說，他對源智的重要性遠遠高於他對鼎盛、崑崙的重要性。

  那些大雲服務供應商都已經有了豐富的數據中心管理經驗，江松然去了那裡，頂多是帶來一些新的視角，在某些方面帶來一些提升，但不能有什麼本質上的突破。

  但是江松然來到源智科技，直接把源智科技在硬體管理上的空白給填補上了。

  所以韓路一才會這麼慷慨，直接給了2%的期權獎勵。

  這可是視哥認證的金色傳說！

  江松然可能賺了，但韓路一絕對不虧。

  既然江松然提起了，韓路一就直接問道：「江博士，我們現在要做的是儘快擁有自己的推理棧和訓練棧，我一期計劃的是五百張卡，這個採購量在國產卡里不算大，哪家都拿的出來，但是具體從哪買，買來能做到什麼程度，我還想聽聽你的意見。」

  這個數字韓路一在醫院的時候就已經和江松然透露過了，江松然也早就做好了準備他知道入職之後韓路一是一定會問的，他不打無準備之仗。

  「韓總，我回去看過了，現在市面上最先進的國產卡能做到400TFLOPS，如果只是推理的話，五百張支撐十萬日活綽綽有餘。」江松然說，「基於標註數據的後訓練，雖然勉強，但也能做。但是要做預訓練，是遠遠不夠的。」

  TFLOPS（TeraFLOPS， Trillion Floating—point Operations Per Second）是衡量計算機算力的單位，中文是「每秒一萬億次浮點運算」。因為GPU的強項就是進行浮點數學運算，如果把每個GPU都比作一輛跑車的話，TFLOPS就是它儀錶盤上的最高時速。

  用N卡體系來舉例的話，遊戲玩家的夢中情卡RTX5090在AI實際用的精度下大概能做到200TFLOPS，而專業用於AI訓練的英偉達B200型號顯卡，能達到單卡2250

  TFLOPS的恐怖算力。

  韓路一點了點頭，這和他設想的沒有出入。

  「而且，韓總，我不知道咱們團隊裡有沒有人有過顯卡集群管理的實操經驗。但是，非CUDA生態顯卡集群的管理難度和CUDA生態是完全不一樣的，五百張國產卡，全國能把訓練棧跑通的不超過三家。」

  說完，江松然露出略微驕傲的神色：「有我在，我有信心源智科技是其中一家。」

  韓路一對此倒是不懷疑，畢竟他招江松然進來，就是要他幹這個的。

  他接著問道：「那從哪家採購最好，你有什麼建議嗎？」

  江松然微微沉吟了一下，沒有馬上回答。

  這個問題其實有點兒敏感。江松然當過管理者，當然知道對於任何一家公司來說，採購都是敏感話題，更何況AI用顯卡的單卡價格都在十萬以上，五百張就是五千萬的採購，金額可不小。

  如果是為了安全，他最好是給出一家國產頭部大廠的推薦，大廠內控嚴厲，給他回扣的風險小，韓路一也更不會懷疑他。

  但是江松然在做過調查之後，確實發現了一個更好的選擇，只是說出來未必對他本人是一件好事。

  他沒有猶豫太久，還是咬了咬牙，說出了更冒險的版本：「有一家，叫矽明半導體（

  Sili—Lumin），總部在鵬城，也是個創業公司，去年剛開始量產第一款產品，叫L100，算力600TFLOPS，片間互聯帶寬600GB/s，對標的是英偉達的H100。硬體的料很足，而且還有一個對我們來說是優點的缺點一他們的軟體做的很差，完全沒有訓練的落地配套，買家全是在做推理。」

  「所以矽明對咱們來說格外合適，五千多萬的單子，對他們來說是救命稻草，而且他們的銷路不好，有現貨。」江松然把自己的思考都說了出來，「再加上他們的軟體弱，硬體強，按硬體單價算性價比就特別高。而我們根本不用他們的配套軟體，相當於採購的錢全花在硬體上了。」

  這話說完，江松然也心裡打鼓。

  他明確表示了這是他提前調查過的廠家，韓路一會不會懷疑他吃了回扣？

  他心裡默默想了一句話：他以國士待我，我當以國士報之。

  韓路一面上不動聲色，只是眼睛發亮。

  他沒什麼猶豫，直接說道：「江博士你費心了，確實很適合源智現在的需求。這樣，你不方便出差，一會我讓我的助理過來找你，你和他交代清楚，讓他跑一趟鵬城。」

  江松然心裡鬆了一口氣。

  不讓他經手他感到挺慶幸的，至少可以避嫌。

  正事聊完，韓路一最後又說了一句：「你既然說有信心，我很期待咱們把自己的集群搭起來的那天。」

  實際上江松然說的還保守了，他不只是有信心。這個事情他做過一遍了，再做一遍當然是十拿九穩。

  實際上現在見識過了源智科技的技術潛力，他覺得不止是五百卡、千卡的集群，就算是萬卡也不是不能嘗試。

  要知道，想把顯卡集群做大，其中的技術難度是指數級上升的。

  因為真正的挑戰來源於在使用過程中，集群里的各個節點之間的通信。想要完成大模型的訓練，就要讓各個節點之間數據完全同步。假設只有十個人，想要讓他們互相交流一個信息，不是什麼太難的事情；可是如果擴大到一百個、一千個人，每個人都各自在做自己的事情，即使是簡單的信息同步也很難做到。

  而且萬卡集群比起千卡集群，運算速度並不能提升十倍，受通信帶寬的限制，能達到七八倍就不錯了。

  成本極高，收益不大，既然這樣，那為什麼還要做萬卡集群呢？直接做很多個小集群不行嗎？

  那是因為萬卡集群能做到千卡集群做不到的事情，就是訓練超大模型。

  基於現在的大模型理論，模型越大，參數越多，模型的能力就越強。可是想要把那麼多信息訓練到一個模型里，就需要能夠同時容納所有原始信息的內存，只有使用萬卡這個規模的集群，才有可能訓練出這樣的超大模型來。

  可以說萬卡集群才是英偉達體系王冠上的明珠。

  而現在，江松然已經有野心在源智科技用國產顯卡挑戰萬卡集群了。

  當然了，AI訓練用顯卡的成本，即使國產的成本低很多，單卡價格也在十萬元人民市以上。要做萬卡集群，單是顯卡成本就要十億。更別說這個級別的集群，配套的機房、電力、冷卻、存儲等等成本加起來是顯卡本身的一倍左右，萬卡集群的總投入要在二十億以上。

  但是這些事情江松然都不擔心。那不是CE0應該擔心的問題嗎？他相信到時候韓路一會解決的。

  這些念頭在江松然的腦子裡轉了一圈，什麼都沒說出口。

  只是他那顆因為家中變故而變得沉寂的心，突然又火熱起來了。

  （還有更新耶）