第200章 期待與你的合作

  第200章 期待與你的合作

  趙文淵回頭看了看江松然的表情，內心暗爽。

  天天看別人裝逼，今天也讓我裝一回。

  他表面上雲淡風輕的說了一句：「是源碼科技自己開發的，現在還在內測，估計很快要推向市場了。」

  江松然半天沒有說話，良久才又開口問道：「你們————咱們自己做的？」

  趙文淵看江松然的心理承受能力還可以，就繼續往下說：「是的，最早的靈感來源於源碼的一款產品，開物。本來是面對沒有技術背景的用戶，後面是自研的代碼大模型，用戶完全不用懂代碼，不用介入運行，用中文就可以進行疊代。」

  趙文淵看了看江松然的反應，覺得他應該已經知道開物了。

  「源碼的姜總把這個思路應用到開發流程中來，做了這個智能體工具。」趙文淵說完，突然問，「你剛才在下面見過姜總了嗎？」

  獲取最新章節更新，請訪問sto9.𝙘𝙤𝙢

  江松然搖了搖頭，他剛才直接和沈叢雲上來了，沒機會接觸源碼科技那邊的員工。

  但是他心裡知道，能主導這個級別的項目，這個姜總一定是源碼科技的核心人物，暗暗期待一睹他的風采。

  「有機會介紹你認識，你會喜歡她的。」趙文淵說完，把話題拉回到工作上。

  「總之，我們的工作流程就是這樣的，把算子適配和疊代的工作分發到每個組員的手上，如果有人進度被卡住了再一起討論解決的方案。」

  江松然點了點頭，怪不得他剛才看到的工作模式是那樣的。

  有這樣的工具，就不奇怪了。

  這麼看下來，這個工具大大的節省了具體實現代碼、進行實際測試的時間，但它也不是什麼黑科技，更不是黑魔法。

  能解決的問題，還是一樣能解決，只是更快了。

  不能解決的問題，靠這個工具依然解決不了。

  對於真正懂原理的人來說，節省下來的時間最多，幫助也最大。

  反而對那些本來就一知半解的人來說，即使有了這樣的工具用處也不大，解決不了的問題還是解決不了。

  能做出十個算子的適配工作，這個技術團隊的實力還是很強的。

  他相信，憑著自己的技術能力和經驗，配合著這套工具，加上這樣的團隊，把國產顯卡的全鏈路適配做出來，不是沒有可能。

  江松然暗自點頭。

  然後他開口指著屏幕上的結果說：「這個算子暫時不用做到百分之八十。」

  趙文淵一愣，問：「為什麼？」

  「因為咱們現在缺的不是這個算子的單點性能。」江松然指了指屏幕，「它能跑，功能正確，性能有67%。如果目標是出論文，當然要把它調到80%以上，但如果目標是三月初跑通第一批國產卡集群，現在最應該做的不是繼續死磕這個點。」

  趙文淵的表情認真起來。

  「那應該做什麼？」

  「跑端到端。」

  江松然把屏幕上的幾個文件夾點開。

  「把已經達標的這些算子拉出來，先組一條最小鏈路。模型可以小，分片可以小，數據可以用假的，但是鏈路必須完整，完成端到端的調試。

  77

  他一邊說，一邊在旁邊的白板上寫了起來。

  模型加載、前向、反向、梯度同步、優化器更新、檢查點備份、恢復。

  江松然把七個步驟寫在白板上，中間沒有任何停滯。

  他這幾年做的全部事情都在這條鏈上，對這些知識、和實踐中可能遇到的問題，全都已經爛熟於心了。

  剛才寫這個流程圖，花時間最多的反而是在心裡把這些詞的英文都找到中文翻譯。

  流程圖寫完，江松然開口道：「雖然三月初只跑推理，但訓練才是大頭，端到端必須現在就摸清，不然到時候再補就來不及了。咱們現在用的這個「算子打靶法」是對的，但是既然時間緊、任務重，現在這個階段最重要的是有大局觀，從宏觀上調節好優先級。」

  他邊說邊用馬克筆在白板上點了點：「否則，每個人都在優化自己手裡的算子，等到最後拼起來的時候，真正的瓶頸才會顯現出來，到那個時候就晚了。」

  趙文淵看著白板上的內容，陷入了沉思。

  江松然是對的。

  迄今為止趙文淵帶領團隊做的都是基於「點」的工作，一個算子一個算子在推進。

  這麼做當然是必要的，沒有所有的必須的點，是不可能連成線的。

  但是系統訓練不只需要點，想要連線的時候不出錯，那現在就得開始連了。

  趙文淵算是見識到江松然的厲害了，入職的第一天上午，連項目進度都沒看全，就把現在這個路線最大的隱患指了出來。

  趙文淵轉過椅子面對江松然，說道：「江博士，你覺得我們現在應該怎麼辦？」

  江松然整理了一下思路，回答道：「第一階段的目標如果只是跑推理的話，沒必要追求N卡80%的效率，用不滿，優先把必要的算子做完跑通，我剛才看了一下，除了十個已經標綠的，還有二十三個已經過了60%的線。」

  江松然說到這，低頭看了一下屏幕，自己糾正自己道：「二十四個，加起來是三十四個。」

  江松然坐回椅子，把椅子往屏幕前挪了挪，開始在表格里圈算子。

  「反向、優化器更新、梯度同步，這幾類先排後，三月初的推理用不到，等四月調訓練的時候再回來做。」

  趙文淵點了點頭，這幾類在表里占了不少，確實都是訓練才用得到的，先放一放完全合理。

  「再看推理路徑。」江松然把光標移到表格的前半段，「矩陣乘、LayerNorm

  softma、激活，這幾類已經標綠了。注意力相關的算子在哪兒？」

  趙文淵往下翻了翻，指了一項：「標準Attention，61%。Flash—Attention那一版還沒排上。」

  「Flash不用，先用標準的，能跑就行。」江松然說，「KV—cache的讀寫呢？」

  「這裡，64%。」

  「夠了。」江松然往後靠了靠，「再加一個採樣，一個RMSNorm。這兩個簡單，融合不融合都行，先有了再說，我數一下啊。」

  他在表里點了點，停在最後。

  「差兩個。」

  趙文淵愣了一下。

  他原本打算的是把所有的算子都做到80%，卡住的地方直接呼叫隨身老爺爺韓路一，按現在的速度可能要做到二月底了，到時候再做端到端。

  但是現在被江松然這麼一拆—

  只差兩個了。

  「你這————」趙文淵一時不知道怎麼接話了，「這兩個我讓組裡今天就開。」

  「不急。」江松然擺了擺手，「先把已經達標的這三十四個用現成的腳手架串起來，跑一遍空載，把鏈路打通，這兩個等做好了再補進去，到時候哪兒不對一目了然。」

  趙文淵點頭，站起來轉身去喊人。

  他一邊走一邊又有點兒懊惱。

  今天又裝逼失敗了。

  一這是哪兒來的神仙啊。

  趙文淵把手下的組員都叫過來，交代了任務，今天就開始搭腳手架，嘗試用最小模型拉一個鏈路出來，在8卡環境下跑一圈。

  周圍的工程師都是一愣：「今天？」

  江松然在旁邊補了一句：「跑的時候把Profiler打開，不要只看最後的成敗，每一步的耗時、等待時間、內存拷貝、通信比例，這些數據都有價值。」

  眾人還不認識江松然，都看向趙文淵，趙文淵點了點頭，大家才散開。

  趙文淵轉過身來對江松然說：「江博士，謝謝你，這個確實是我沒想到的點。還好你現在指出來了。」

  江松然臉上倒是毫無驕傲的神情，他說：「這不是你的問題，咱們推進的太快了。」

  趙文淵不解：「太快了？」

  江松然說：「你知道我們當年做TPU的時候，花了多久才意識到這個問題嗎？」

  趙文淵遞了個話：「多久？」

  「三年。」江松然說，「你們現在才做了多久？最多半年吧？」

  趙文淵已經沒有糾正這個的欲望了，這點兒小逼不裝也罷。

  江松然接著說：「正常來說，一個團隊還卡在第一個SDPA的時候，不需要想這麼遠。

  咱們現在的問題，是已經把最難啟動的部分打穿了，所以系統性問題提前暴露了一」」

  「這是好事。」

  說完，江松然又打開趙文淵電腦上的那幾個已經超過80%效率的算子文件夾，說道：「這些實現是你把關的吧？這得需要對底層有很深的理解才能做的出來，不管有沒有智能體這種工具，這個理解是做不了假的。」

  江松然比趙文淵年長几歲，手底下也管理過幾十個人，他現在說這番話就是怕剛才的行為在下屬面前傷了趙文淵的權威，所以想鼓勵他一下，修補一下關係，防患於未然。

  畢竟兩人將來大概率要共事很久。

  沒想到趙文淵聽完，臉上又出現了那種不自在的神色，糾結了一會兒，他才開口道：「其實，這些不是我寫的。」

  江松然好奇道：「那是誰寫的？」

  「是韓總寫的。」趙文淵說著看了一眼電梯方向，最近韓路一上班之後都會直接來十三樓報導。今天聽說是京城有人過來，國網投資的盡職調查團隊，黃宇帶隊來的，需要韓路一去對接，所以他到現在還沒來。

  「韓總？」江松然今天驚訝太多次了，現在已經有點兒驚訝不出來了，「哪些是他寫的？」

  趙文淵已經麻木了，你怎麼哪壺不開提哪壺呢。

  「全是。」

  「全是？」江松然強提一口氣，又驚訝了，他回想了一下韓路一，那天在醫院見到的年輕人。兩人只見了一面，他當時還以為對方是HR。江松然本來完全不考慮再加入一個創業公司，但是韓路一說話就像有魔力一樣，能直擊他內心深處的需求，聊了短短几十分鐘，他就被說服了。

  從那之後，他覺得韓路一是個有天賦的管理者，他用他的技術來這裡可以有所發揮，但是沒想到，今天才知道，韓路一本人的技術也這麼強。

  「韓總——」江松然猶豫了一下，八卦道，「是哪個學校的博士？」

  「交大的本科。」趙文淵現在的心情很複雜，自己的逼沒裝成，但是替韓總裝了一個，心裡還莫名的有點兒爽。

  這句話說完，兩個人都陷入了沉默，然後默契的結束了話題。

  江松然回到自己的新工位上，設置好了電腦，環顧了一下四周，還是亂糟糟的。

  他突然想起了沈叢雲說的，源智科技已經融資過了。好奇心起，他打開電腦，在飛書里大概搜索了一下，確實有相關的公告。

  《源智科技完成4.5億人民幣A輪融資，加速國產算力基礎設施研發》

  4.5億融資，估值30億人民幣。

  江松然面露古怪。他本來以為自己是為了家庭拒絕了其他幾家大廠的Offer，降薪入職源智科技。沒想到除了200萬的現金之外，那2%的期權現在就值六千萬，這比鼎盛和崑崙這兩家給的都多了一大截。

  接下來江松然都有點心神不寧。

  他不缺錢，但是這麼多錢，和這種信任，讓他心中生出一種「士為知己者死」的感覺來。

  終於等到韓路一給他發來飛書私信：「江博士，入職第一天還適應嗎？不好意思我這邊有別的事走不開，沒能第一時間歡迎你加盟。有什麼問題可以諮詢@趙文淵，他對這塊最熟悉。」

  江松然猶豫了一下，還是回復道：「韓總，我一切順利，謝謝關心。關於期權獎勵，實在豐厚，再次感謝。」

  「期權在勞動合同上已經寫明了吧，江博士對關於差旅的條款還有額外要求嗎？」

  江松然心想，是寫了，但我沒想到那不是紙錢啊。

  他還沒回復，韓路一又發了一條信息過來。

  「我相信你能對得起這個價格，這不是工資，而是合伙人的證明。期待和你的合作。」

  江松然沉默了一會兒，打出了自己的回覆。

  「韓總，我也期待著和您的合作。」

  這個話題告一段落，韓路一又開啟了新的話題。

  「剛才我聽@趙文淵說了，你已經把訓練鏈路大概理清楚了，這個工作量靠現有團隊肯定不夠，我這邊會繼續招人，但這個領域太窄，普通招聘效率太低。」

  江松然明白了他的意思：「你想讓我推薦些人？」

  「你手底下的職位，如果你有合適的人，可以推過來見見。」

  「好的。」江松然回復道。

  然後他關掉飛書，打開了一個很久沒說話的微信群。

  【AIInfra交流群】

  是個500人的大群，天南海北哪裡的人都有，有美國的，也有國內的；有在Meta、

  亞馬遜這種大廠的，也有在創業公司的，還有一些在國內大廠的技術負責人。

  唯一的共同點是，都是做這一行的。

  江松然思考了一下，沒有用源智科技的名義發信息源智科技現在聲名不顯，發出去反而讓潛在的應聘者有顧慮。

  他只以自己個人的名義發了一條信息。

  「我回國了，現在在一個創業公司帶Infra團隊，方向是做國產AI加速卡的大模型訓練棧。團隊招人，方向包括訓練系統、分布式調度、通信、容錯、AIInfra工程化。有興趣可以私信我。」

  消息發出去沒多久，許久沒人說話的群活了過來。

  「江神，你也回國了？」

  「江神，你看好國產算力替代這個方向嗎？」

  「我前兩天看了一篇論文，non—CUDAattention的，好像是一個國內團隊寫的？有人關注嗎？」

  「國產卡？訓練？現在還有人幻想這個呢？」——看到這條，江松然嘴角微微上揚。

  放在一個星期之前，他自己也是這個反應，但是他現在只覺得對方是井底之蛙。

  「我有個師弟剛從新加坡回來，做調度了，要不要推給你？」

  江松然知道自己在AIInfra這個領域的地位，這樣一條信息發出去，過來發簡歷的人不會少的。

  最近幾天得花時間好好挑挑了。

  （還有更新耶）