第458章 五億，小嗎

  第四百五十六章 五億，小嗎?

  趙文淵輕輕咳嗽了一聲，把幾人的注意力拉了過來，然後開口說道：

  「既然大家都同意按照韓總的思路試一試，那我先詳細講解一下我們這邊現在的成果，以及兩邊怎麼融合。」

  聽了趙文淵的話，夢腦科技的人都提起了重視。

  湯圓和起源的大名在人工智慧這個領域如雷貫耳，但是畢竟隔行如隔山，他們的技術有多少能用在腦機接口這個領域還真不好說。

  現在對方的首席科學家發話了，詹想的心裡格外矛盾，既期待這位趙博士能從別的角度帶來新的解決方案，又不甘心自己卡了幾年沒有進展的難題被別人輕而易舉地解決掉。

  

  詹想心想，最好是他們提供一點思路，但是自己來把整個工作完成。

  趙文淵起身，站到了會議室的白板前面，拿起一支馬克筆就在上面畫了起來。

  他沒有使用預先準備的幻燈片，也不需要，起源旗下所有模型的訓練思路都在他的腦子裡，架構圖信手拈來。

  不一會兒，湯圓訓練架構就被畫在了白板上。

  「夢總，詹總，你們看，湯圓1.0就是這麼被訓練出來的，從原始語料建立起基座模型，到高精度標註的調整權重，造就了它的意圖理解和問題解決能力。按照韓總剛才提出的思路，我們先使用夢腦現在積累的腦電數據來訓練出一個基座模型，這個模型不需要能夠準確地理解每一個腦電波所代表的意思，它更像是一個預訓練模型，能夠把你們所提供的三萬個小時的原始數據中，哪些模式是反覆出現的通用信號，哪些是雜亂的噪聲分辨出來。」

  詹想試圖跟上趙文淵的思路，聽他說完之後搖了搖頭：「趙總，這恐怕不行，這些數據量雖然大，但是太雜了，想從裡面直接總結規律不太可行。」　　趙文淵看了他一眼，心想，是你懂機器學習還是我懂機器學習。

  自監督預訓練恰恰不需要有統一的標籤，那是後訓練階段才需要做的事情，自監督本身就可以從雜亂的數據里學習通用結構。

  但是他沒把這質疑說出來，新方法和夢腦現行方法差距太大，他們的團隊有所懷疑也是正常的。但是舊方法顯然沒用，不然夢腦科技不會卡在這裡。

  這倒是讓趙文淵想起來翻譯領域的歷史來。

  最一開始做機器翻譯的時候，人們也是先從翻譯家和語言學家的方法開始，想要用人做翻譯的方法教會計算機做翻譯，什麼語法、文法、從句結構，都寫到規則里去。

  效果怎麼樣?

  一言難盡。

  直到後來人們走了另一條路，用大規模的數據統計概率，也就是機器學習來進行訓練，效果得到了顯著提升。

  做語音識別的大牛弗雷德里克·傑利內克對此有句名言：「我每從團隊中開除一個語言學家，語音識別的性能就提升一大截。」

  順帶一提，transfrmer架構本身最初發明出來就是用於翻譯的，效果確實驚艷，並且後來被證明這個架構不只可以用來做翻譯。

  趙文淵不打算當面說服詹想，語言上的交鋒毫無意義，只是說道：「詹總，不如我們儘快開始第一輪訓練，有了第一輪的結果，我們就可以知道這個方向是不是可行了。」

  他相信，等到結果出來，詹想自然會被說服。　　趙文淵接著問道：「這些腦電波數據的採樣率是多少?對應的數據量有多大?」

  詹想一愣，沒想到趙文淵對自己的問題避而不答，顯然對訓練結果極為自信，一時沒回答趙文淵的問題。

  反而是夢瑤先說道：「是256赫茲，標準採樣率，我們的微型電極陣列會對採集到信號進行聚合，採集通道最高1024個，使用24比特精度。」

  她看出趙文淵這個問題是想問數據大小，把原始數據的參數一下都報了出來。

  趙文淵沉吟了一下，迅速在腦子裡做了個估算。

  三萬個小時，按照256赫茲計算：

  30000x3600x256=27648000000

  單通道就是接近兩百八十億個採樣點。

  1024個通道的話，總的數據量就是二十八萬億個電位信號，24比特精度，大概也就是84tb的數據。

  作為腦電波數據，這個量很大；但是作為訓練模型的數據，這個量簡直小得不值一提。

  訓練系統做久了，會對數據量級有一個近乎本能的敏感度，剛才這些數據的估算在趙文淵腦海中也就是十幾秒的時間。

  然後他開口說道：「這個數據量，我們沒必要起得太大，可以先做一個五億參數的模型看一看。」　　詹想下意識地重複了一遍：「五億?」

  他們團隊手工特徵提取出來的模型，參數還在千萬這個級別。

  趙文淵聽他開口，以為他覺得小了。

  畢竟五億參數，只有0.5b，市面上隨便一個開源模型都比這個大。湯圓1.0可是萬億級的巨無霸，就這還遠遠算不上市面上最大的模型。

  這個預計第一輪疊代的腦電模型，和大語言模型們比起來，簡直像一個小可愛了。

  趙文淵開口寬慰道：「開頭先做小一點，效果好我們再提升。」

  詹想被噎了一下，接下來的話也沒說出來。

  五億——小嗎?那我們現在的模型算什麼?微微?

  夢瑤倒是沒被這個數字刺激到，她的領域在腦科學領域，算法本來就不是她的專長。

  所以從剛才開始，她一直更關注的是韓路一剛才所說的第二點，通過起源的新模型架構實現快速的從意圖到動作的翻譯。

  兩百毫秒。

  她不確定韓路一是不是隨便說出來的數字，但是這個數字恰好是人類平均從大腦產生想法到肌肉響應，最終做出動作的平均時間。　　也就是說，如果腦機接口真的能實現這個延遲水平的信號傳遞，它就能讓殘障人士像使用真實的肢體一樣使用外接的人造設備。

  那才是真正解決了助殘這個難題。

  甚至於，如果能夠實現這個級別的性能，再加上非侵入腦機本身的無害性，民用、娛樂用的場景也會大幅度拓寬。

  至少玩家們能用它來打遊戲了。

  夢腦科技現在的平均延遲在八百毫秒到一秒，這個速度肯定是不合格的。

  但問題是，這已經是他們竭盡全力才能做到的水平了。

  要想做到兩百毫秒，速度還要再提升四五倍。

  說實話，neralink通過侵入式的解決方案，在腦神經活躍的地方直接收集電信號，能做到這個速度已經很驚人了。

  以夢腦科技現在的技術路線，通過什麼方式才能做到?

  夢瑤忍不住開口問道：「趙總，我們假設第一步的通用模型能成功——」

  「可是下一步怎麼辦?我們怎麼才能做到兩百毫秒?」

  （還有更新耶）