第219章 說說吧，什麼進度？

  第219章 說說吧，什麼進度？

  為了避開返工的高峰，韓路一打算初五就啟程回海城，也提前和周敏說好了。

  奇怪的是，往年都沒有這個習慣的周敏，特意在初四晚上拉著韓路一請了個財神到家裡。

  財神請進來擺好，周敏燒了香，然後勸韓路一也拜了拜。

  韓路一心裡暗暗嘀咕，媽媽平時最反對封建迷信，這是年紀大了，信仰也轉變了？

  拜完了，周敏坐到沙發上，把遙控器拿起來，卻沒有立刻打開電視。

  韓路一準備回房間工作。

  周敏突然叫住了他。

  「路頭，在海城工作忙嗎？」

  𝘀𝘁𝗼𝟵.𝗰𝗼𝗺為您提供最快的小說更新

  韓路一愣了愣，這個問題來的沒頭沒尾的：「還行。」

  周敏「嗯」了一聲，然後說：「路頭啊，別太累了，不管做什麼，身體最重要。」

  韓路一感覺媽媽話裡有話，張口道：「媽你想說什麼啊？直說就行，我受得了。」

  他知道不是身體的問題，他回家的第一件事就是用視界給媽媽做了個全身大掃描，比國慶的時候還健康一些。

  周敏站起身，看著韓路一，緩緩開口道：「我知道，你去年就被裁員了，不想讓我擔心，沒告訴我。」

  她頓了頓，又接著說道：「路頭，創業不容易，真有什麼大風大浪的，你也別怕，我這些年也存了些錢，還有你這幾年打給我的錢，我也都存著呢。如果真不順利，咱們就不幹了，你回來，媽也可以養你，啊？」

  韓路一聽了心裡一暖，感覺喉嚨有點兒疼，轉過頭去不看媽媽，同時又有點兒驚訝：「媽，你怎麼知道的啊？彪哥和你說了？」

  話一出口，他才發現聲音有點兒啞。

  周敏淡淡地笑了一下，還有點兒小得意：「你回來之前我就知道了，你們兩個小孩兒，還給我演戲。你小時候不做作業，媽哪次沒發現啊？」

  然後她還是解釋了一下：「上次小王老師不是用開物做了個課程表嗎，她挺喜歡的，老刷你們那個公眾號，有一次給我看你演講的視頻，一邊看一邊誇你，我當時心裡還挺驕傲的，沒告訴她那是我寶貝兒子。」

  韓路一聽到這有點兒害羞了，他還以為瞞媽媽瞞的挺好的，結果自己反而是被瞞著的那個。

  「媽————嗯————」韓路一一時也不知道該說點什麼好。

  「你從小就是個不讓人操心的孩子，這麼優秀，媽相信你會越來越好的。」周敏說到這，表情像是陷入了一些回憶。

  當初那么小個小不點兒，一轉眼，都這麼大了。

  再也不是抱著媽媽的腿哇哇哭著要抱抱的小路頭了。

  「早點睡吧，明天還得開車，你讓小張多開點，我看他比你靠譜。」

  周敏搖了搖頭，似乎也不打算再深入這個話題了，她輕輕拍了拍韓路一的後背，轉身走回了臥室。

  等到媽媽走進臥室了，韓路一才把頭回過來，他又看了看擺在柜子里的財神像，明白媽媽還是多了一層擔心和牽掛。

  但是有媽媽關心的感覺—

  真好。

  回到海城，第一件事就是和趙文淵對進度，沒想到趙文淵給他帶來了一個驚喜。

  兩人沒去辦公室，而是在趙文淵家附近找了個咖啡館。

  初五下午，大部分人都還在放假，咖啡館裡比平時工作日要熱鬧多了。

  三個人找了張桌子坐下來，一人點了一杯熱拿鐵。

  韓路一和張彪剛開完長途車，看起來都有點兒疲憊。趙文淵倒是精神頭十足。

  「韓總，好消息！預訓練的進度這兩天穩定下來了。」趙文淵興奮地說，「下一步就是退火了。」

  張彪已經在旁邊掏出了筆記本，乍一聽這個名詞，還以為是自己聽錯了。

  他現在也主動多了，知道這些東西自己早晚都得接觸，就算不懂原理，也要了解一下大概。

  所以他舉起手，動作像一個在課堂上提問的小學生。

  趙文淵看看張彪，說：「怎麼了？」

  「什麼叫退火？」張彪問道。

  「退火就是—」趙文淵想了想，「Annealing。

  「7

  張彪的頭上寫滿了問號，你這個解釋和沒解釋有什麼區別？

  韓路一在旁邊沒忍住笑了一聲，開口解釋道：「退火本來是冶金裡面的術語，因為形象，所以模型訓練的時候也借鑑了過來。」

  張彪想了想，說：「就是鐵匠打鐵，往水裡「嗤」的那一下？」

  趙文淵忍不住糾正道：「你說的那個是Quenching，中文叫淬火，要的是急速冷卻。

  退火不一樣，是慢慢冷卻。」

  韓路一說：「不用糾結這個，就是一個比喻，差不多就是那個意思。」

  然後韓路一從張彪手裡拿過筆記本和原子筆，在上面邊畫邊說道：「咱們說過，模型訓練分為預訓練和後訓練。但是在預訓練的最後階段，還有一個特殊的階段，就是退火。」

  說到這，韓路一已經在本子上畫出了一個簡單的示意圖，用筆在其中一個地方點了一下。

  「在這裡，前面餵的數據已經足夠多，足夠雜了，但是都是些背景知識，想要讓模型的基礎能力提升，在這個階段要單獨給很多高質量的語料，例如經過篩選的代碼庫、文學出版物之類的。」

  韓路一畫完，覺得解釋的似乎還不夠通俗易懂，於是又加了一句：「如果說一開始的階段是從小學到高二上課學知識，現在就是高三複習刷真題，不是什麼都學了，而是只學最經典、最有代表性的題。」

  然後他把筆記本轉回給張彪。

  張彪接過筆記本，對韓路一舉的例子並沒有什麼感同身受他沒刷過真題。

  但是他感覺自己這一回聽兩個高材生討論，已經不像以前那麼一頭霧水了。

  「這個階段一般來說耗時比較短。」韓路一說完，轉向趙文淵，「你預計還需要多久？」

  趙文淵伸出一隻手：「最慢最慢，五天就夠了。」

  然後他把手收回去，端起拿鐵喝了一口。

  「退火數據是我和團隊之前就準備好的，三千萬條高質量的代碼片段，一批精選的各領域書籍和學術論文。」

  「原因呢？」韓路一問，「是大年初一修了那次數據問題之後，曲線更穩了？」

  「那是一部分。」趙文淵點頭，「主要的原因是您前面寫的那套清洗規則的收益比預期高，原始數據的質量顯著高於業內的標準。無效數據少了以後，同樣的訓練步數，實際有效學習效率高很多。」

  韓路一點了點頭，視哥出品，讓人放心。

  趙文淵說著，拿出手機，調出一張曲線圖。

  「這是修正前後的對比，之前我擔心最後階段會震盪，所以留了比較大的冗餘。但現在看，沒有必要，可以直接上退火數據。」

  韓路一看著曲線，沒有立刻說話。

  趙文淵繼續說道：「退火結束以後，我們可以先做一輪基礎能力評測，代碼、數學、

  中文理解、長上下文，還有通用知識，都跑一遍，只要底座能力過線，就可以進入後訓練，到時候標註數據才開始發力。」

  「不要只看公開榜單。」韓路一說，「評測集要分開兩層，一層是對外可比較的基礎能力，另一層是我們自己的產品前置任務。」

  他說著把身子往前傾了傾：「和一般的研究機構不一樣，我們做湯圓不是為了發論文，御風、開物，我們已經有了真實的應用場景，這是我們的優勢。一定要確保湯圓有這方面的潛力。」

  趙文淵一愣，確實，他沒考慮到和產品結合的這個方面。

  他以前在研究院的時候，做研究就是做研究，不用考慮和產品結合的能力，覺得基礎能力到位了，自然能找到用途。

  就像是先造錘子，再找釘子。

  可是源智現在的情況不一樣，源碼科技這邊兩個應用層的產品都已經打開了市場，湯圓做出來，根本不用考慮哪些場景可以用到。

  場景御風和開物都給準備好了。

  趙文淵點了點頭，在手機上快速的記了備忘錄，說道：「好的，韓總，我一開工就安排團隊做咱們自己的測評集。」

  安排完了工作，韓路一在心裡默默計算了一下時間，五天退火，那就是二月十五日。

  比訓練開始時預計的二月二十號提前了幾天。

  這樣為Kaiwu海外版後台的遷移又爭取出幾天時間來。

  江松然那邊也要抓緊了，能不能用國產卡集群跑通訓練，也是這個計劃的重要一環。

  預訓練結束之後，再花二十天來做後訓練的微調和對齊，算一算，三月初就可以把完全從頭開始訓練的湯圓做出來了。

  這和之前用7B開源底座加上八千條標註餵出來的湯圓v0.1可不一樣。

  到那時，用視界級數據清洗標準加視界級標註數據訓練出來的大模型，將第一次面世0

  被全套金手指資源加持的湯圓，成績會怎麼樣，他無比期待。

  想到這，韓路一打開視界看了一眼右下角的經驗進度。

  百分之五十。

  一半了啊。

  韓路一這麼想著，拿起桌上的拿鐵喝了一口。

  與此同時，在海城的另一端，張弛也剛剛在虹橋落地。

  他沒回家，讓司機直接送他去鼎盛大廈。

  到了鼎盛大廈，秘書已經在樓下等他了。

  他把手裡的包交到秘書手上，一邊往電梯走一邊問：「人都到了嗎？」

  「劉總監和主總監都在會議室等您。」秘書緊跟在後面，快速回答道。

  出了電梯，張弛直奔會議室。

  門一打開，劉勃和王浩都站著，看見張弛進來，兩人一起往前一步，趕緊問好。

  張弛看著兩個人緊張的樣子，直接在他們對面拉了張椅子坐了下來，然後擺了擺手，開口道：「哎，站著幹嘛，坐下說。」

  於是兩個人都趕緊拉開個椅子坐下。

  等兩人坐定了，張弛開口問道：「說說吧，什麼進度？」

  ——

  （還有更新耶）