第161章 這樣下去你就廢了!
雖然韓路一剛說了蘇念念,可是其實他也給自己安排了視頻會議。
和趙文淵。
趙文淵自從請假之後就沒來辦公室上班了,最近一直在家搭數據管線,在鼎盛那邊的程序走完之前做準備工作。
兩人先把訓練的策略過了一遍,會議結尾,韓路一問了一下時間線。
「文淵,鼎盛那邊帳戶大概這兩天就能配好,你這邊什麼時候能開跑?」
電話那頭,趙文淵停頓了一會,似乎在組織語言,然後才開口道:「韓總,就算算力到位了,開跑之前還有一道坎。」
「什麼坎?」
「上周五我和你說的,預訓練數據的預清洗。」
韓路一坐在辦公桌前想了想,是有這麼回事。
實時更新,請訪問sto9.c🍒om
「咱們現在手裡有什麼了?坎在哪?」韓路一問道。
「有CommonCrawl里的數據,還有公共版權的書籍資料,我想在清洗這塊優化一下,但是搞了幾天還沒頭緒。」趙文淵解釋道。
「嗯……我晚上回去看看。」
掛斷視頻,韓路一在辦公室里思索起來。
韓路一想起來趙文淵的屬性面板。
【趙文淵】
【技術S(研究SS)」協作C」穩定A】
【特技:大模型訓練」大模型後訓練】
後訓練是他的強項,預訓練這邊可能就沒有那麼熟悉了。
當然了,大模型現在也出來幾年了,論文發了那麼多,大家沒吃過豬肉也見過豬跑了。技能是可以遷移過來的,摸索摸索,預訓練也沒有那麼難。
想要從頭做大模型,真正的瓶頸還在數據和算力。
數據也分兩塊,原始數據和標註數據。
標註數據這塊,靠著視界,韓路一已經拿到了世界頂尖的標註。
數量還不太夠,但是肝一肝總會有的。
但是原始數據還得想辦法。
一般的廠商數據來源主要有幾個,除了那些出版物或者特定行業的資料,還要去網際網路上收集資料。網際網路的資料也有不同的來源:可以自己在網際網路上爬一一這就是各顯神通了,爬到什麼算你的本事;也可以用CommonCrawl。
CommonCrawl是開源的語料庫,大模型時代的「數字公共圖書館」。
它是一個非營利組織,目標是「爬取和存檔整個網際網路」,並將這些數據免費提供給所有人。這個願景很偉大,也確實幫助到了很多人。
現在市面上的大模型,做通用場景的,有一個算一個,訓練語料里一定包含CommonCrawl,無非是有的多些有的少些。
但是CommonCrawl的問題是,它基本沒有清洗,裡面有網際網路上各種各樣的原始信息。就拿中文網際網路來說吧,上面最多的內容是什麼?知識乾貨?生活小常識?人生感悟?感人的文學作品錯了,是垃圾,各種各樣的垃圾。
菠菜GG,瑟瑟GG,為了優化搜索結果的重複關鍵詞堆砌。
如果把這些東西當原料直接去製作大模型,你可以期待會看到這樣的場景。
你問它:「什麼是大模型預訓練?」
它回答:「近來大家都對大模型預訓練很感興趣,那麼大模型預訓練到底是什麼呢?小編帶大家看一看,看完真的驚呆了!到底該如何評價這件事情?歡迎在評論區留下你的看法!」
所以原料在用之前,先要經過複雜的清洗,這個也不是人工進行的,一般會用傳統的基於規則的數據管線篩掉完全無用或有害的信息,然後在剩餘的信息中進行去掉語意重複的內容。
對於怎麼做,韓路一暫時還沒頭緒,但是沒關係。
晚上問問視哥怎麼看。
想到這,他拿出手機看了看時間,已經快六點了。
晚上【404寢室】又約了飯,是張浩然組織的。
本來周末就想約,但是韓路一為了和蘇念念準備今天的董事會會議,拖到了今天。
張彪去機場還沒回來,韓路一沒去坐地鐵,奢侈了一把,自己叫了個車。
張浩然訂的是一家烤魚店,比他們的老地方燒烤攤檔次高了不少,包廂門口掛了個實木牌子,寫著「貴賓席」。
韓路一到的時候,張浩然已經坐在裡面了。
兩人正打著招呼,馬小飛也走了進來,手裡舉著他的大疆0smoPocket4P,一邊進門一邊說:「這個必須發,從燒烤攤到貴賓席,這是咱們寢室的成長紀錄片。」
「你就不能進來先坐下?」張浩然說。
「藝術家需要隨時記錄,你不懂。」
「什麼時候干自媒體也成藝術了。」張浩然吐槽。
「大概是抽象藝術吧。」韓路一補刀。
「笑吧笑吧,我上個月剛過二十萬粉了。」馬小飛不服氣地說。
「二十萬?」張浩然有點意外,「上次不是才十萬出頭嗎?」
「那都幾個月前了。最近科技賽道流量好,我做了一個系列叫」小飛拆機',專門拆各種國產AI硬體,什麼翻譯耳機、AI音箱、智能眼鏡,拆完給大家看裡面到底有沒有料。上周那條拆某個AI音箱的,六十多萬播放。」
「現在養活自己沒問題了?」韓路一問。
「什麼話,最近哥們發了,GG報價現在五千一條,標準的,一個月能接四五條,還有平分成。」馬小飛頓了頓,難得認真了一秒,「當然了,也不穩定,這個月好不代表下個月好,但至少現在是我最舒服的狀態。」
張浩然看了馬小飛一眼:「你說你一個交大畢業的,全職做自媒體,你爸媽沒意見?」
「有意見啊,但是看到我賺錢了就沒意見了。」馬小飛理直氣壯,「天下爸媽都一樣。」
三個人落座,點了兩條魚,一條醬香味的清江魚,一條麻辣加辣的黑魚。主要是因為韓路一不愛吃辣,馬小飛卻說來吃烤魚不吃辣就白來了。又另外加了粉條青筍豆製品等等配菜。最後點了一大桶可樂。張浩然倒是無所謂,他已經打定主意一會兒請客了。
菜上來之前,馬小飛先把Pocket 4固定在桌面上,找了個機位能同時看到三個人,還給自己的臉設上了人臉追蹤。
然後,馬小飛才轉過頭來,問道:「張浩然你什麼情況啊?這麼著急把我們叫過來?有什麼你馬哥能幫忙的?是不是老韓的存款不太夠啊?」
韓路一也好奇的看向張浩然。
這確實是張浩然今天想說的正題了,他沒理會馬小飛的玩笑,表情嚴肅,聲音低沉:「老韓上次不是給了我們一個內測帳戶嗎?你回去用了嗎?」
馬小飛被他的神情搞得有點不自在:「我打開看了一眼,不是跟什麼ChatGPT、豆包之類的一樣嗎?」「不一樣。」張浩然說:「老韓這個模型,真的會讀心術。」
這下別說馬小飛,連韓路一也一頭霧水了,讀心術什麼的,是因為湯圓在意圖理解這方面確實不錯,他說著玩的,看張浩然的樣子,怎麼好像真信了?
「我給你詳細講講,我們銀行之前不是新換了行長嗎,最近總行又在推國產系統遷移,行長助理和直管我的副行長對上了,僵持了兩三周。我為這個事兒愁死了不知道多少腦細胞,生怕站錯隊。結果你猜怎麼著,我把這個事兒跟湯圓一說,她全給理清了。」
張浩然說到這,聲音壓得更低了一點,腦袋往前湊了湊,然後做了個手勢,讓另外兩人也把頭湊過來。「我覺得她說的有道理,然後開會的時候,我就跳船了,力挺行長助理。結果你猜怎麼著,行長助理還真是代表著行長的意思,我現在直接進了委員會了,委員會裡除了我之外,就是總行下來的經理和我們行的另一個副行長。」
聽到這,馬小飛開口了:「臥槽,我他媽雞皮疙瘩起來了啊。」
他轉頭看了一眼架在桌子上的Pocket 4P,伸手過去拿了回來,關機了。
「你放心,剛才這段我肯定不播出去。」馬小飛保證道。
張浩然這時候舉起手裡的可樂,對著韓路一說:「老韓,我今天就是想謝謝你,你這個AI真是太牛逼了,給我在職場省了三五年的努力啊。」
韓路一卻有點兒高興不起來。
他先和張浩然碰杯,喝了一口可樂,然後才開口道:「我是真沒想到能用它來幹這個。」
韓路一確實沒想到,他有點兒受限於現在市面上的大模型的能力,腦子裡想的應用場景都是在上下文不足的情況下讓模型更好的理解用戶真正的需求,好幫助他們解決問題。
張浩然這種用法,既出乎他的意料之外,又似乎在情理之中。畢竟它的標註數據來源於金手指,說是簡易版的讀心術也不為過。而且大模型能做得更進一步的是,基於分析的結果,他還能給出行動建議。但是恰恰也是它最危險的地方。
張浩然剛才說的這些事情,現在別的大模型能做嗎?
能做。
但是人們會去聽嗎?
大概率不會。
不會的原因是什麼?
因為它們分析得不夠好。
但是湯圓在意圖理解這個方向的能力異常高了之後,導致它分析別人的意圖時,可以分析得頭頭是道。這樣它再給出行動建議的時候,人們就很難不會相信。
可是連原版的金手指都不能預測未來。
何況是一個7B模型,加上弱化版的金手指呢?
如果說對了還好,可是如果說錯了呢?
其實說起來,大模型在很多場景下都已經表現得非常好了。比如醫療診斷、法律分析,它們都能給出頭頭是道的建議。
但是為什麼在這些場景下,反而應用推廣得最慢呢?
因為這些場景都是典型的高代價場景。
你可以正確率達到99%,但是1%的錯誤會造成嚴重的後果。
在以前,有專業人士來承擔這些後果,但是如果使用 AI的話,誰來承擔呢?
想到這,韓路一表情嚴肅,對張浩然說道:「你以後,別再這麼用了。」
張浩然一愣:「什麼意思?」
韓路一整理了一下思路,說道:「你沒意識到嗎?它不止在分析,還給了你具體的建議,然後你照做了。」
然後他加重了語氣,一字一頓的說:
「你把判斷權交出去了。」
張浩然一下就明白了韓路一的意思,感覺渾身一冷。
是啊,他這次是站對了隊,但是他真的知道為什麼嗎?
下一次呢,怎麼辦?
他回想一下,最近越來越多的在和湯圓交流職場上自己看不懂的事,她說的都有道理,他也基本上都會採納。
韓路一的話沒有停:「浩然,一旦你越來越依賴它,你的大腦會退化的一」
「到那個時候,你就廢了!」
這句話落下,旁邊的馬小飛忍不住咽了口口水。
張浩然說:「那……我該怎麼辦?」
韓路一想了想,說:「換一種用法。」
「什麼用法?」
「你可以把它當一個朋友,一個老師,但是不能當成先知。咱們上學的時候怎麼學習?看見不會的東西先自己思考,實在想不出來,再帶著思考的過程和卡住的地方去問老師。或者和朋友交流,你也會先把自己的想法說出來,再去問別人的意見。不放棄自己思考,先思考,帶著思考的結果再交流,這才是正確的用法。」
馬小飛聽到這,忍不住開口說道:「老韓啊,你說的那是你的學習方法吧。我都是看見不會就直接去問老師的。」
韓路一神色怪異的轉過頭:「海城人上交大的要求就這麼低嗎?」
「你是不是在陰陽我?」
有馬小飛打斷,包廂里的氣氛沒有剛才那麼壓抑了,恰好這個時候菜上來了。
韓路一不知道張浩然聽進去沒有,但是三人默契的轉移了話題,聊起了別的事情。
張浩然雖然沒有升職,但是得到了大領導的賞識,還拿到了實權的工作,值得慶賀。
「說起來,你的煙戒的怎麼樣了?」馬小飛說道。
「還行,沒破戒。就是每天晚上加班比較辛苦,你看今天連酒都沒點。」張浩然笑著說。
「不是?誰問你了啊?」馬小飛提高了聲音,「不要欺負我們單身狗啊!」
說到這,馬小飛又轉向韓路一:「呃,老韓,你跟我還是同一個陣營吧?」
韓路一點了點頭。
馬小飛好像鬆了口氣,又接著問道:「那你跟蘇女神是怎麼回事啊?還沒確定關係嗎?」
「咱不聊這個,行嗎?」韓路一看向了烤魚。
「行吧……」馬小飛嘆了口氣,「我周六去醫院看見蘇女神了,還打了個招呼。」
「什麼?她去醫院幹什麼?」韓路一轉向馬小飛,急切的問道。
「不是,你怎麼不問我去醫院幹什麼啊?」馬小飛「嘿」了一聲,「重色輕友了吧?」
然後他看了看韓路一的神情,趕緊說道:「好像是她家人住院了吧,我沒細問,她看起來氣色不太好,可能是太累了。」
韓路一想起今天早晨蘇念念的身姿,其實會前能從她的神態中看去一點疲憊,但是會一開始,她就火力全開了。
那個樣子,大概是在強打精神吧。
韓路一從桌上拿起手機,打開和蘇念念的對話框,打了幾個字,又刪掉了。
問什麼呢?問「你家人還好嗎」?他連是誰住院都不知道。問「你還好嗎」?今天早上剛見過,她在會上那個狀態,說明她不想讓別人看出來。
最後他只發了一條:「念念,今天辛苦了,早點休息。」
發完之後他看著那條消息,總覺得說得太少了,但又想不出更合適的話。
蘇念念沒有秒回。
韓路一把手機放回桌上,繼續吃魚。又過了幾分鐘,手機亮了一下,他低頭看了一眼。
「好的!」
「你也是啊!」
韓路一盯著這六個字看了一會兒,然後鎖了屏,沒再回復。
吃完飯,張浩然提前去把單買了,臨走之前和韓路一說:「老韓,你還是把我的那個內測帳號關了吧。我怕我忍不住。」
韓路一想了想,說:「好,我把伺服器關了,回去再調整調整,這樣確實不能放出去給普通用戶用。」馬小飛趕緊說:「誒,你關他一個人的好了,我這邊還沒用過呢。」
他看到兩人神色不善,趕緊又加了一句:「至少明天再關,明天再關吧,讓我今天晚上試試先。」回到家,韓路一打開電腦,從趙文淵分享的資料里拉出一部分原始數據,然後用趙文淵放在同一個文件夾里的數據清洗的腳本,跑了起來。
一邊跑,韓路一一邊打開了視界。
視哥,看看實力。
(還有更新耶)