第193章 分成兩段的人生
第一百九十一章 分成兩段的人生
沈叢雲放下手機,把目光放在了電腦屏幕上。
瀏覽器打開,上面是一個人的LinkedIn主頁。
Songran Jiang,連個照片也沒有,上面的工作履歷也非常簡單。
最新小說章節盡在sto9.c🎇om
2011年到2020年在谷歌工作,在TPU團隊擔任Staff Engineer(L6),對應鼎盛的P8,高級專家。
2020年跳槽到一個晶片創業公司做Head of Infrastructure(基礎設施負責人),一直到現在。只有一個職位,具體的工作內容完全空白。
關掉瀏覽器,沈叢雲又打開了桌面上的一個文件夾。這裡面是沈叢雲從其他渠道搜集到的、關於江松然的資料。
江松然在谷歌的時候一直在TPU團隊,從軟體到硬體都有涉獵,帶過幾個大項目,升職速度堪稱坐火箭。
跳槽後,他是那家創業公司的一號員工,從零到一把一套千卡級別的顯卡訓練集群帶了出來。這種活兒全球做出來過的人不超過兩位數,他是其中之一。
簡單來說,這是一個極度低調的圈內大佬。在AI基礎設施的領域裡成就斐然,但是出了圈子就不太知名。
這樣的人物離職回國,的確牽動了整個AI圈老闆和獵頭的心,不差他沈叢雲一個。別說鼎盛了,就他所知,鵬城那邊也有人專門飛過來,就為了勸江松然加盟。
這樣的人才,韓路一一定不想錯過,可是沈叢雲這邊已經黔驢技窮了。
電話打不進去,微信加不上,郵件不回,你還有什麼辦法,總不能去他家堵他吧,問題是你也得知道他家在哪啊?
沈叢雲把這些資料打包好,飛書發給了韓路一。
很快,韓路一回復了:「來十三樓一趟。」
沈叢雲趕緊在那條信息上點了個大拇指,收起筆記本電腦出了辦公室。
到了十三樓,韓路一和趙文淵正並排坐在電腦前面,屏幕上正開著沈叢雲剛發過去的資料。
韓路一先揮手示意沈叢雲坐在面前的空椅子上,然後開門見山的問道:「怎麼了,不太順利?」
「韓總,電話不接,郵件不回,連聯繫都聯繫不上。」沈叢雲的聲音低低的,他覺得是自己辦事不力。
韓路一轉頭問趙文淵:「文淵,你認識嗎?」
趙文淵搖搖頭,他入職谷歌的時候江松然已經離職了。兩人工作的領域也不太一樣,一個偏理論研究,一個偏工程實踐。雖然都在矽谷,兩人可能有共同的朋友,但沒有直接的交集。
突然他想起什麼,拿出微信搜了一下江松然的名字。
趙文淵有幾個谷歌華人微信群,什麼吃喝玩樂群、徒步群、摘櫻桃群,都是他在谷歌那幾年陸陸續續加的,也許江松然也在裡面。
這一搜還真搜出來了,是一個叫【海城人在谷歌】的群,從趙文淵加進去裡面就沒人說話。
趙文淵順著點進江松然的名片,又點開他的朋友圈,只展示最近六個月,裡面只有一條,是一張在醫院病房裡的照片,只拍了病床,沒拍人,底下配了一句話——「你永遠不知道明天和意外哪個先來。」
韓路一在旁邊看了全程,沒說話。
倒是沈叢雲開口了:「韓總,江松然的微信號我這也查到了,但是他沒接受我的好友申請。」
趙文淵問:「要不我從群里加他?他可能會通過。」
韓路一沒說好也沒說不好,拿過趙文淵的手機,又看了那條朋友圈。
……
上午十點剛過。
海城某三甲醫院神經外科,普通病房。
這裡很安靜。
江松然坐在病床旁邊的摺疊椅上,膝上放著筆記本電腦。
他留著短髮,瘦削的臉上沒有表情,靜靜地看著屏幕,雙眼裡有密密麻麻的血絲。
旁邊的床上躺著一位老人,和江松然的容貌有五六分相像,只是更瘦、更蒼老。老人的左手插著留置針,呼吸很輕,床頭的監控儀器規律的間隔發出「嘀」的一聲,像是在提醒病房裡的人時間的流逝。
父親腦梗發作那天,他正在矽谷的辦公室里加班。
突然接到了母親的越洋電話,他已經回憶不起自己當時的想法,或者幹了什麼。
整個人好像進入了一種自動導航模式。
江松然買了能買到的最早的機票回國,只帶了一個小箱子裝了幾件衣服,一台私人電腦。
他當時不知道自己還能不能見到父親最後一面。
十幾個小時的奔波之後,等到在ICU的玻璃門外看到父親的那一刻,他的眼淚奪眶而出。
萬幸,搶救回來了。
在ICU待了十幾天,脫離了危險期之後,父親轉到了普通病房,還是睡覺的時間多,清醒的時間少。
醫生的建議是先靜養,恢復的好的話再觀察一個月就可以出院了。
和醫生聊完,江松然做出了一個決定,沒和任何人商量。
他不回美國了。
決定之後,他和公司的CEO打了一個視頻電話,說明了他的想法。
CEO在視頻那邊沉默了好久,最後連挽留的話都沒有說,只是祝福他的父親趕緊好起來,如果將來他想回來隨時歡迎。
江松然注意到,這個當初和他一起在車庫創業,合作了好幾年的白人老頭紅了眼眶。
然後又拜託在美國的朋友打理一下房子,留意一下賣房的經紀。
從接到母親電話的那一刻起,他的生活好像被從中間分成了兩段。
前半段是他瘋狂努力證明自己,想讓父母驕傲的人生。
後半段是什麼,他還不知道。
江松然在等著母親來和他換班。
江松然無聊的刷著新聞,刷到一篇新聞——
《算力國產化,是未來五年最大的變量》。
看到這個標題江松然久違的在心裡笑了一下。
這些媒體估計都不知道自己在說什麼。
算力國產化,國家級戰略資源,這話當然誰都會說。
但是對於像他這樣專門幹這一行的人來說,就像是個笑話。
無他,門檻太高了。
這就像是在說我們應該解決氣候問題一樣,是句正確的廢話。具體要做什麼?怎麼做?花多少錢?周期多長?代價是什麼?沒人說的出來。
關掉新聞,江松然又在電腦上點開了一個新的頁面,arXiv。
這是一個免費發布論文的網站,尤其是在AI和計算機系統這個圈子,幾乎所有的新研究都會先往上面發布。不用等期刊評審,不用等會議接收,寫完了發上去,當天全世界就都能讀到。
圈裡人管這叫「掛上去」。
每天早晨刷一遍arXiv,看看自己關注的幾個分類底下有沒有新東西,是這個圈子裡研究人員大部分人的基本習慣。
江松然這個習慣保留了十幾年,從上學的時候到谷歌再到創業公司。
回國陪床這兩個多月,工作上的事他已經全放掉了,但每天刷刷arXiv的習慣還保留著。
目光快速划過,一篇新發布的論文題目吸引了他的注意力。
《On Adapting Memory-Efficient Attention to Non-CUDA Heterogeneous Accelerators: A Single-Operator Case Study》(非CUDA硬體上的注意力算子適配:一個單算子的案例研究)
作者只有一個名字,Wenyuan Zhao。
江松然在腦子裡把這個名字過了一遍,沒什麼印象。
他本來想直接划走。
非CUDA適配這種東西arXiv上一搜一大把,大多是國產晶片廠出錢讓自家工程師掛名做的樣子工程,沒什麼真東西。
但他還是點開了。
因為是單作者。
非CUDA適配這種活兒,正常掛名至少四五個:硬體廠的人掛、軟體團隊掛、算法掛、做評測的掛。
單作者意味著兩種可能,要麼是沒團隊,要麼是作者把所有人都壓下去了,只給自己署名。
這兩種可能都挺有意思的,值得看看這篇論文。
PDF加載出來。
摘要的第一句話是:
「本文報告了一款國產的非CUDA加速器上內存高效注意力機制的端到端實現:在單節點8卡配置下,吞吐達到對應cuDNN參考實現的83%,數值誤差在2.3e-6以內。」
江松然把屏幕字體調大一點,接著往下翻。
背景寫得簡潔,沒注水。
實現那一節貼了具體的優化方法和代碼片段,不是泛泛而談。
評估那一節有完整的對照、不同上下文長度下的吞吐曲線、還把每一項優化的貢獻單獨拆出來量化。這些是做評估的人最容易偷懶的幾個地方,他都沒偷懶。
最讓江松然多看了兩遍的,還是局限性那一節。
作者自己寫道:「本工作只完成了單算子(SDPA),沒涉及LayerNorm、Softmax、各類Optimizer等數十個其他算子;沒涉及多卡通信庫;也沒涉及訓練場景下的反向傳播與混合精度,不構成一套可用的訓練棧。」
非常誠實,不像是來刷臉的。
他又翻上去,看了一下團隊,Source Intelligence AI。
是個沒聽過的公司。
江松然往後靠在摺疊椅上,把眼睛揉了揉。
國內居然還真有人在做這種事。
這種吃力不討好的事。
做出來發不了頂會,打不響知名度,也融不到資金,做的時候也沒人知道你在做什麼、做的有多難。
最關鍵是,因為其他的配套都沒有,單做一個出來也是真沒什麼用。
這種活兒他熟,谷歌TPU團隊的前兩年就是這麼熬出來的。
只不過谷歌當年有幾百個工程師。
8張卡,一個算子。
江松然在心裡量了一下,從這裡到「能跑一個能用的訓練系統」中間還差什麼。
剩下的幾十上百個算子,多卡通信庫,分布式訓練框架,編譯器,容錯和檢查點。
每一項,都是三五十人的工程團隊、兩到三年的活兒。
他在矽谷那家公司就做這套東西,做了五年。
如果國內真能有幾百個團隊,都像這一個一樣,安靜地做這種沒人鼓掌的事。
那國產化也未必沒有可能。
可惜,沒有幾百個這樣的團隊。
正想著,母親從外面進來了,一進來就開始嘮叨。
「松然,累壞了吧,快回去睡會,你在醫院陪床的時候也得注意休息,別你爸還沒醒過來,自己就先病倒了……」
江松然也確實是累壞了。
他和母親交代了幾句,稍微收拾了一下,拿上電腦,走出了病房。
一路走到住院部一樓,他看到一個瘦高帥氣的年輕人站在大門的位置,背著一個雙肩包,好像在找人。
江松然正看著,正好那個年輕人也看了過來,好像看到了他,沖他笑著點了下頭,向他走來。
那人的眼神亮的驚人。
江松然不確定他是不是沖著自己來的,也回應了一個點頭。
(還有更新耶)