第162章 你什麼都不知道
視界打開的瞬間,屏幕上正在滾動的日誌變得不一樣了。
每一條經過清洗管線的數據,在韓路一眼中都浮現出一層薄薄的色彩。
乾淨的、有信息量的數據泛著淡藍色的光,像水流一樣順暢地通過管線;被規則正確攔截的垃圾數據是灰色的,在某個節點處被清理出去,不再被下面的環節處理;而那些有問題卻沒被攔住的數據,發著刺眼的橙紅色,混在藍色的水流中間,格外扎眼。
韓路一還注意到另一種顏色,偶爾有幾條數據閃著暗藍,但在灰色數據中格外顯眼,它們被規則誤判為垃圾扔了出去,但其實是有價值的內容。
就像站在流水線旁邊,別人只能看到傳送帶上的產品在動,而韓路一的眼睛能給每一個產品,甚至每一條傳送帶本身做質檢。
獲取最新章節更新,請訪問st🎉o9.com
韓路一盯著屏幕看了大概十分鐘,先從最明顯的橙紅色開始分析,逐漸摸清了規律。
主要是三個問題。
最多的是純垃圾沒有清乾淨。菠菜GG、瑟瑟引流、關鍵詞堆砌,這些最低級的垃圾,現有的規則只做了關鍵詞匹配,但變體太多了。
用諧音字、用emoji替代、把敏感詞拆成兩段分別塞進前後文里,簡單的正則表達式根本防不住。視界裡這類數據發著最亮的橙紅色,數量不少。
然後是語義重複。兩段話用詞完全不同,但表達的意思幾乎一樣,基於關鍵詞和格式的規則識別不了。最後一個最隱蔽,是低質量內容的偽裝。有些內容的格式、長度、關鍵詞分布都符合優質內容的特徵,但實際上是洗稿或者機器生成的填充物,裡面的內容好多有事實性錯誤。
這三個加在一起,占了所有數據的將近七成。
韓路一退出視界,開始改腳本。
用傳統的垃圾分類規則,想要全涵蓋工程量很大,韓路一直接換了個思路。
湯圓的模型不是還在嗎,直接把數據發給湯圓做個檢測,意圖識別。別管你是怎麼變體、怎麼拆字、怎麼用emoji,只要最後是「引導點擊」或者「誘導付費」的內容,一律會被標出來。
同樣的,用湯圓給數據做精簡化處理,再合併就簡單多了。
最後一個識別偽裝內容稍微難了一點,但是難不倒視界,在視界的提示下,韓路一加了一層基於困惑度的篩選。
真正有信息量的文本,語言模型預測下一個詞的不確定性會更高;而那些洗稿和填充內容,因為套路化嚴重,困惑度反而很低。
改完之後重新跑了一遍。
再用視界看過去。
橙紅色幾乎消失了,只剩下零星幾個邊界條件外的數據在藍色的水流里若隱若現。那些暗藍色的誤殺數據也大幅減少,偶爾閃過一兩條,韓路一記下來,又微調了一輪參數。
第三輪跑完,視界裡只剩下乾淨的藍色。
關掉視界的時候,已經凌晨兩點了。
他靠在椅背上,看著最終的清洗報告。
原始數據的有效留存率從趙文淵之前標註的41%降到了29%一一但這29%是真乾淨的。同時誤殺率從12%降到了不到3%,被之前的管線錯殺的好數據也救回來了一批。
清洗質量提升的同時,處理速度也快了不少,時間大概只有之前的一半。
韓路一給趙文淵發了消息,把改好的腳本和清洗報告一起傳了過去。
「文淵,你明天試試這版,我改了三個地方,垃圾分類器、語義去重和困惑度過濾。」
趙文淵秒回:「你還沒睡啊?」
緊接著第二條消息來了:「我看看。」
又過了半小時,趙文淵發了一條長信息:
「你是怎麼一晚上搞出來這個的?一般的團隊光疊代這個清洗管線就得兩三個月,你剛才發我的這個比行業基準的有效率和誤殺率都要優秀!按這個效率和精度,全量數據清洗大概一周能跑完!一周後就可以開始預訓練了!兩個月就能看見第一版模型了!」
難得趙文淵發這麼多感嘆號,有這麼高質量的原始數據和標註數據,他實在是太期待看見訓練出來的結果了。
不過這時候韓路一已經睡了。
時間往回撥十幾個小時,在太平洋的另一邊。
美國太平洋時間。
12月27號,周日,下午。
洛斯阿爾托斯山(Los Altos Hills),約翰的獨立屋坐落在這。
約翰;斯諾(JohnSnow)是NeusAl的CT0。
不同於CE0瑞恩,有人工智慧領域的博士學位,還一路在AI研究院工作。
約翰只有本科學歷,他從斯坦福還沒畢業就開始創業,前後一共創立和聯合創立過五家企業,其中兩家分別被谷歌和Meta收購,收購後沒過幾個月他就又離職,繼續創業。
約翰在矽谷的風投和技術圈都有很多人脈,自己也做投資人。
像他這樣已經財富自由的人,其實已經不再為錢工作了,之所以受瑞恩的邀請加入Neus Al,是因為他看好這個方向,也看好瑞恩本人。
約翰的家,從大門進去是一段爬坡的車道,停著四五輛車,走到主樓後面才能看到院子。後院很開闊,一棵寬得過分的橡樹,陰影覆蓋了將近一半的草坪。
這裡正在舉辦一場燒烤派對。
派對從兩點就開始了,到下午三點多,客人的酒杯已經空了兩三輪。
聖誕的裝飾燈還繞著廊柱和幾棵樹。白天光線強,燈亮著,但看不太出來,風一吹,輕輕動了動。烤架那邊,有專職的廚師還在翻烤肋排,油脂滴進炭火,滋的一聲。
加州的十二月,十八度上下,天氣晴朗,微微有些風,不冷,但也不值得脫掉外套。
約翰每年都會在聖誕節後舉辦這樣的小聚會,會邀請他比較熟的科技圈裡的人,被邀請的人也可以帶朋友。
這個場合被視為矽谷科技和創投圈的一個小沙龍。
瑞恩到的時候約翰正在烤架旁邊和廚師討論肋排的火候,看到他來了,舉起手裡的夾子打了個招呼,然後把夾子還給廚師,走了過來。
瑞恩和約翰是谷歌時候就認識的老朋友了。
「你每次都帶這個。」約翰看了一眼瑞恩手裡的OpusOne。
「你每次的酒都不行。」瑞恩笑了笑,把瓶子遞給他,「幫我打開吧。」
約翰接過來,從旁邊的桌上找了個開瓶器,熟練地擰開,倒進一個玻璃醒酒器里,放在陰涼處。「行,這瓶確實比我這的好。」約翰說,「但是至少還得等半小時。」
「我知道。」瑞恩從冰桶里先摸了瓶啤酒,「等著唄。」
兩人在院子裡走了一圈,和幾個認識的人打了招呼。
約翰的社交方式和瑞恩不一樣。
瑞恩在人群里很自然,八面玲瓏,跟誰都能聊三五分鐘,然後體面地抽身,讓人不覺得被冷落。約翰是主人,他更隨意,有時候跟一個人聊很久,有時候路過直接點個頭就走了,全憑心情,也不在乎對方怎麼想。
有人問起Neus最近的動態,瑞恩一律微笑著說「還不錯」,不多也不少。約翰在旁邊聽著,偶爾補一句無關緊要的話,兩個人配合得很默契。
後來瑞恩在靠近烤架的位置找了把椅子坐下來,約翰去招呼別的客人了。
不遠處,一個戴眼鏡的中年男人正在給旁邊兩個人講他最近看的一個物流AI的創業項目:「我讓他們給我看個原型演示,你們猜怎麼著,那個CE0打開電腦,放出來一張幻燈片,跟我說「這是我們的願景。」」
旁邊的人鬨笑起來。
另一側,一個金髮的女士,身材胖胖的,穿一身深色的長裙,正靠著木欄杆,一臉疲憊,跟旁邊的朋友抱怨找不到技術合伙人:「簡歷我收了幾十份,聊下來沒有合適的。要麼經驗不夠,要麼對薪資不滿意。現在這些人要求太高了,只出技術,還想要多少啊?」
約翰從人群里穿過來,把手搭在她肩上。
「別在聚會上聊這個。」
「那聊什麼?」
「聊吃的。」他朝烤架方向擡了擡下巴。
她有點兒畏縮地擡頭看他一眼,舉起酒杯喝了一口,換了話題。
約翰家的黃色拉布拉多在草坪靠邊的位置趴著,肚皮貼地,下巴擱在前爪上,眼睛閉著,只有尾巴時不時地掃一下。
兩個孩子不知道正在踢什麼規則的球,從草坪這頭追到那頭,過了一會兒連球都不見了。
一個之前聊過兩句的投資人走了過來,朝瑞恩伸出手:「瑞恩,好久不見。Neus最近怎麼樣?聽說水星模型(Mercury)3.1在做推理這方面的研究?」
「還不錯。」瑞恩握了一下,「我們在幾個垂直場景上跑出來了一些結果。」
「準備什麼時候發論文啊?」
「不一定會發表。」瑞恩說,「主要是產品層的驗證,不一定值得發論文。」
對方點了點頭,沒有追問,被旁邊另一個人拉走了。
約翰走回來,在旁邊的椅子上坐下,接過瑞恩手裡的酒瓶,給自己倒了一杯,把瓶子放到地上。「你剛才說的是真的?」
「哪句?」
「不發表論文那句。」
瑞恩端起酒杯:「發表論文是為了什麼?招人、刷排行、讓同行引用,這些我們現在都不缺。」約翰沒說話,也端起自己的酒杯。
兩人的酒杯碰了一下。
約翰看著瑞恩喝酒的樣子,想起第一次見他的時候。
那是在谷歌內部一個很小的技術分享會上,瑞恩當時還是個研究員,講的是他剛發表的一篇關於注意力機制優化的論文。
講得很好,但讓約翰印象最深的不是內容,而是瑞恩講完之後回答提問的方式。
瑞恩從來不說那些可以贏得一點思考時間的套話,什麼「好問題」,什麼「讓我再想想」,他會直接告訴你,你的問題哪裡是對的,哪裡是錯的,然後給出他的答案。
那種確定感,在學術界很少見,在工業界也很少見。
後來兩人慢慢熟了,約翰才意識到,那可能不是來源於對專業領域的了解。
只是瑞恩這個人,他真的不怎麼懷疑自己。
這個特質讓他成了一個出色的CEO。
做決策快,方向清晰,永遠能領著團隊前進。
但約翰有時候也會想,一個不懷疑自己的人,不代表他做的決定就是對的。
五點多,太陽已經快沉到山脊後面了,氣溫稍微涼了一點。
陸陸續續有人過來和約翰打招呼,說謝謝招待,還想留下一點好印象。
等人走的差不多了,約翰和瑞恩搬了兩把椅子到泳池邊,各自從冰桶里摸了瓶啤酒。
泳池這個季節沒人用,水面平靜,偶爾有一片落葉漂進來。
夕陽把水面染了一層淺橙,山脊線還亮著最後一點光。
瑞恩喝了一口,把手機掏出來。
「給你看個東西。」他把屏幕轉向約翰,「和我們合作的、中國的那個公司,這一個多月的API調用分析約翰接過去翻了翻。
「在任務規劃的層面上,全走的水星模型。」瑞恩說,「他們產品上面,每接到一個用戶指令,後面的思考部分一意圖理解、任務拆解一這一層完全是我們的。他們自己接在後面跑代碼執行。」約翰慢慢劃著名屏幕,沒說話。
「產品體驗很好,」瑞恩接著說,「用起來很流暢,用戶滿意度很高,我們這邊收集到的數據也很高質量。但讓這個產品聰明的部分,是水星模型,他們自己的模型就是個代碼執行器。」
約翰把手機還給他:「他們那邊的代碼生成能力也不差。」
「不差。」瑞恩接過來,「但那沒用,這個參數量級,代碼生成的差距已經很小了,再往上很難拉開差距。意圖理解是水星模型的殺手鐧,他們自己知道這一點,這也是他們接受我們合作的原因。」他退出報告,重新打開了一個文件。
「我們現在是第一階段。」
語氣平靜,像在複述一個已經跑過很多遍的邏輯:
「現階段,讓他們做產品,積累用戶,打磨體驗。我們收收入,同時把所有真實任務場景的數據都攢下來。這批數據是下一代金星模型(Venus)智能體(Agentic)能力的核心訓練材料,用戶場景比我們自己構造的基準線可值錢太多了。」
約翰喝了囗啤酒。
「等合同到期的時候,他們的用戶盤子已經建起來了,整個意圖層是跑在水星模型上的,到那時候我們提高分成比例,再收API費用。」他停了一下,「他們的選擇是什麼?遷移到別的模型,然後改架構、重訓、驗證、產品回歸,還是接受新條款?」
約翰沒答話。
「他們沒得選,用戶的基本盤是水星模型建起來的,遷移成本太高,時間也不允許。」
「金星模型之後,」瑞恩把手機放到膝蓋上,「我們的Agentic能力有真實數據撐著,用戶場景也摸透了,那時候我們自己下場做一個開發者工具,用這段時間積累的數據,做個比他們更好的產品。」約翰仰起頭,看了一會兒上面的天,然後晃了晃手裡的酒瓶。
「他們會發現嗎?」
「會。」瑞恩說,「到那時候他們已經沒有選擇了。」
「我是說……」約翰把視線收回來,「他們現在知道嗎?」
「他們可能能感覺到吧。」瑞恩說,「他們的CEO不傻,應該能看到這條邏輯線。但他們需要我們,現階段沒有水星模型給出的意圖理解能力,他們的產品跑不起來。他們應該是想再合同到期之前把護城河建起來,然後開發自己的模型。」
「能嗎?」
「開發一個模型要多久?一年?最快最快也要半年吧,我們的合同到四月就到期了。」
言下之意是,四個月的時間,不可能做出來一個能替代水星模型的大模型。
等合同到期,他們就是砧板上的魚肉了。
約翰把剩下的啤酒喝完,才開口問道:
「等我們數據夠了,就把他們踢掉?」
約翰沉默了一會。
泳池的水面已經暗下來了,剛才的淺橙色消失了,變成了灰暗的藍色。山脊後面還剩最後一線光,也在慢慢的消失。
草坪那邊傳來拉布拉多的叫聲,大概是被什麼東西驚了一下,叫了兩聲又安靜了。
「瑞恩,你有沒有想過一種可能。」約翰把空瓶子放在腳邊,「他們的那個CE0,如果真像你說的那麼聰明,他現在可能已經在做模型了。」
瑞恩看了他一眼:「用什麼做?他們沒有算力,沒有數據團隊,沒有研究背景。做一個能替代水星的模型,不是寫幾行代碼的事。」
「我沒說替代水星。」約翰說,「我說的是,他如果只做一個夠用的模型,不需要比水星好,只需要好到能把意圖理解這層從我們手裡接過去,那你的整個計劃就不成立了。」
瑞恩沒有立刻回答,低頭晃了晃杯子裡最後一點啤酒。
「四個月。」他最後說,「從零開始,四個月做出一個夠用的基座模型?做出能在意圖理解和任務規劃層面替代水星的模型,你覺得可能嗎?」
約翰沒有回答這個問題。
他確實覺得不太可能。
但是他想起之前看到過的那個視頻,那個中國公司的CE0在GAIS上演講的視頻。
約翰也在GAIS上發表了一個演講,雖然是遠程連線。
他覺得那個人不簡單。
「其實我們可以直接自己做,我自信能做的比他們好。」約翰悶悶地說。
「我們的資源是有限的,要放在最重要的事情上。」瑞恩說,「這樣免費的勞動力,又這麼好用,為什麼不用呢?」
說到這,瑞恩的臉上浮現出一絲笑容:
「你什麼都不知道,約翰;斯諾。」
「該死的,我說了多少次了,我叫約翰(John),不叫圇(Jon)。」約翰罵了一聲。他恨死《權利的遊戲》了。
還有那個喬治;馬丁。
「你才是什麼也不知道呢,瑞恩;米勒。」
瑞恩對這個小孩子一樣的回擊,只是笑了笑。
沒說話。
(還有更新耶)