第264章 世界模型才是最好的

  第264章 世界模型才是最好的

  周一早晨，六點整。

  水木大學博士生公寓的一個房間裡，手機發出了一陣蜂鳴聲。

  s🎤to9.com提供最快更新

  聲音不大，但是章聞鐸已經睜開了眼睛，伸手關掉了鬧鐘。

  他沒有賴床或者玩手機，利落地翻身下床、洗漱、換上了一身襯衫牛仔褲，然後坐在了電腦前，這個時候是六點二十分。

  碩博連讀五年，章聞鐸就是用這樣嚴苛的作息要求自己的。

  經過一晚上的睡眠，昨晚那點微醺的酒勁，和因為自己的狂妄所產生的不適都消散的差不多了。

  現在還有更重要的事去做。

  昨天晚上，湯圓的API靜態測試集測試證明了它不是一個用過擬合作弊的騙子。作為一個即將答辯的頂級計算機博士，章聞鐸很清楚這意味著什麼。

  在業界所有人都在卷算力、卷參數、卷更大的模型的時候，湯圓給出了另外一種解答數據質量能把模型能力提高到什麼程度。

  這對前沿研究者的價值不可估量。

  章聞鐸的博士研究方向不是傳統的基於語義關係的大語言模型，因為他認同很多業界先驅的想法，認為純粹的語義推斷已經到達了它的上限。

  想要讓人工智慧的研究突破到下一個階段，必須走出一條新路來。

  這也是為什麼昨天晚上他敢於直接當面質疑韓路一的原因。

  雖然最後證明，是他的判斷錯了，但這更有價值。

  既然現在手裡有著世界第一的閉源模型的API，可不能浪費了。

  章聞鐸調出了自己博士論文的核心代碼，一個用於探測大模型內部是否具備反事實因果推理的「世界模型（WorIdModeI）」狀態探針。

  所謂世界模型，是和現在流行的大語言模型（LLM）完全不同的研究方向。如果說大語言模型要做的是，基於前文，後面會出現的「話」；那世界模型是，基於前面的事件信息，現實世界中會發生的下一件「事」。

  而狀態探針，探測的就是一個模型—一—不管他的內部實現機制是什麼一—有沒有能夠用內部狀態表達世界的能力。

  比如說，在網上流傳的一個很經典的笑話，如果你問AI大模型：「五米外有個洗車店，我要洗車，我該走著去還是開車去？」大部分的AI都會回答走著去。

  為什麼？

  因為「五米外」和「走路」在傳統的大語言模型中是注意力強關聯，洗車店和開車作為弱信號被忽略了。

  但是你問任何一個智力正常的成年人，都不太可能會在這道題上翻車。

  這就是語言模型在理解世界上的天然缺陷，而章聞鐸的論文討論的就是大語言模型和世界模型的關係。

  在學術界，研究世界模型的學者一直分為兩派。

  一派認為現在的大語言模型這種基於語義的推理方向是個岔路，最終會走到死胡同，也就是說，做大語言模型永遠也沒辦法做成世界模型。

  而另外一派則認為，語言是人類對世界的抽象，當大語言模型的能力進步到一定程度的時候，它也可以具備世界模型的能力。

  「死路派」和「殊途同歸派」，兩派在這個問題上爭論不休，至今沒有哪一派能說服了另一派。

  章聞鐸自己就是「死路派」的，他對湯圓的質疑甚至都不是針對湯圓的，他對所有的大語言模型都有這牴觸，覺得這些都是實現AGI道路上的歧途。

  他的理論提出了很多，但是理論需要驗證。

  對研究者來說，最痛苦的事就是缺乏頂級模型的驗證機會。

  而對中國的研究者來說，則有更大的一層障礙在。

  現在，境外最強的閉源模型們對中國大陸研究者幾乎斷絕，偶爾可以通過一些中轉站測試一下，但是模型能力不穩定，不確定中間有沒有夾雜多餘的提示詞，還無法進行大規模反覆驗證。

  而國內的頂級模型又還沒強到能產生有意義的行為分叉。差一點的模型各種推理能力糊成一團，跑探針等於白跑。

  章聞鐸之前的諸多理論假設，就一直停留在純數學推導階段，也只能拿著一個半成品去做論文答辯。

  而現在，湯圓向他敞開了大門。

  想到這，章聞鐸迫不及待地打開了御風。

  在讓探針調用湯圓的API之前，他先讓御風幫他把那段已經寫了將近兩年的核心代碼做幾處適配改動。

  原本的探針是按照GPT規格的模型校準的，輸出格式不太一樣，他把幾個參數調了調，讓御風給他寫一個格式轉換層。

  這種事以前要花大半天，御風給了三個方案，他掃了一眼，選了最乾淨的那個，大概十分鐘就完成了改動。

  他開始調用湯圓的API進行第一批實驗序列。

  等待。

  終端開始輸出。

  章聞鐸坐在那，上身微微前傾，眼睛緊緊地盯著屏幕。

  前面幾組結果都在意料之中。

  章聞鐸沒什麼反應，這本來就是基準，連差一點的模型都能過的題，不算什麼。

  從第十一組開始，是探針的核心序列。

  他設計了一套「狀態追蹤「題組：同一個場景，以十七種不同的表述方式餵給模型。

  措辭不同，信息順序不同，中間插入大量干擾句，為的就是破壞語義的注意力機制。

  如果模型只是在做語義匹配，換了表面形式之後答案就會飄移。

  想要保證答案的一致性，需要模型在它內部維護一個「世界狀態」，這樣無論表面怎麼變化，邏輯答案都應該保持一致。

  當然，現在的大語言模型都不會去「維護」這個狀態，但是章聞鐸想要探索的方向是：

  如果模型在訓練過程中形成了穩定的因果結構表徵，它就可以表現得「像」是有一個內部狀態一樣，輸出得答案就應該保持一致。

  之前他在國外的頂級模型上進行過小範圍驗證，答案如他預料的一樣，沒有模型能夠表現出這種能力來。

  然而湯圓不一樣。

  終端里，湯圓的答案一條條輸出，現在已經進行到了第十五組驗證。

  前面幾組驗證數據的特徵值已經遠超章聞鐸驗證過的國外頂尖模型。

  而第十五組的最後一個變體，在插入了七條干擾句，湯圓依然輸出了正確答案，並且在它的思考過程中還提示了更多的信息：「需要注意的是，儘管文中多次提及初始狀態，但根據第三段的描述，該狀態在後續已發生變化，正確答案應基於最終狀態而非初始狀態。」

  探針還在繼續運行。

  但是章聞鐸的心思已經不在屏幕上了。

  基於現在看到的這冰山一角的結果，他已經預感到了。

  湯圓作為一個純語義訓練的模型，理解世界狀態的能力大幅高於他測試過的其他模型。

  這說明了什麼？

  章聞鐸抬頭看了看窗外，時間已經從清晨到了上午，而他完全沒有察覺。

  京城的天空今天是一片澄澈的藍色，沒有一絲雲。

  那條他以為走不通的岔路，其實走得通。

  高質量的原始數據和語義標註對世界模型的方向也是有意義的。

  章聞鐸的心裡說不好是開心還是痛苦。

  他不再關注還在運行的探針腳本，起身去接了一杯水。

  媽蛋，論文要重新寫了一結論還是一百八十度的大掉頭！

  （還有更新耶）