首頁> 現代都市> 天賦系男神> 第225章 開源之海

第225章 開源之海

  第225章 開源之海

  鯨海求索科技。

  洛北在給巧思筆記的大語言模型接口選型的時候,確實考慮過他們家的AI。

  只是,那時候推出的DeepSeaV2版本,雖然開源,但性能在一眾大模型中顯得平平無奇。洛北再三考慮,還是選了表現效果更好的ChatGPT。

  但現在,這個新推出的R1版本————

  他點開資訊文章,認真讀著。

  文章里附了性能對比圖,DeepSeaAIR1在文本理解、代碼生成、邏輯推理的基準測試中,成績甚至超越了谷歌的雙子座和OpenAI的GPT—4o。尤其是在中文長文本理解這一欄,領先幅度更高。

  s🎸to9.com最新最快的章節更新

  洛北眼神一凝。如果這個數據真實,意味著什麼?

  意味著國內終於有了一款能真正和國外業界巨頭掰手腕的開源模型。

  這對國內AIGC領域,絕對是個重大利好消息。

  中小公司不再需要捧著美金去求國外巨頭的API配額,不用再為隨時可能被斷供的風險提心弔膽,還可以基於開源模型,搭建自己的專屬解決方案。

  這也是巧思筆記的機會。

  洛北立即登上常去的技術論壇,果不其然,版內討論已經炸了。在業外人士尚且覺得這是風平浪靜的一天時,程序猿們都在熱烈都在討論著DeepSeaAI的開源協議、部署成本和微調方法。

  洛北沒發帖,只是默默往下翻,在這幫人的討論中挖走了很多有用信息。

  藉由大師級天賦技能「代碼之神」的加持,他很快就想到了巧思筆記基於DeepSeaAI

  的替代方案。

  一個是矩陣科技自行本地部署。

  根據鯨海求索科技官網給出的部署方案,想要部署DeepSeaR1的671B滿血版,並且至少支持日活百萬的API在線調用量,他必須要有一套成規模的算力伺服器集群。

  這個規模大概是50台標準8卡的GPU伺服器,每台搭載8張英偉達H100顯卡。

  而因為西大的晶片封鎖禁令,GPU伺服器價格飆升,現在市面上大概需要220萬元一台,而且供不應求。

  也就是說,如果他們自己買伺服器獨立部署,大概需要1.1個億的硬體成本。這遠遠超過了矩陣科技自前可支配的資金。

  另一個方案,則是直接使用鯨海求索提供的官方API。

  目前矩陣科技使用的GPT—4o是目前市場上最貴的模型之一。如果按照正式版發布後,一路走高的新增用戶估計,過不多久,他們巧思筆記就會達到百萬日活。到那時,每天大概是20萬左右的API開銷。

  但DeepSeaR1卻成功把價格干到很低的位置,同等吞吐量只需要3.5萬元,堪稱價格屠夫。

  這已經不是省錢了,是從燒錢玩AI,降格到了隨便用AI的地步。

  而且,DeepSeaAI基於大量中文語料訓練,效果應該比國外的語言模型更好。

  開源代表著可定製。以後如果資金充裕,有了本地部署條件,他還可以根據教育場景的特殊需要,對模型進行針對性微調,就使用他的大師級「程式設計師」天賦,完全可以讓巧思筆記的認知能力再上一個台階。

  沒有猶豫,洛北做出了決定。

  遷移,必須遷移,而且越快越好。

  接下來的任務,就是立即著手國產化平替:直接接入鯨海科技的官方AI,或者國內的第三方聚合平台,無論哪個,價格都相對國外的閉源AI優勢巨大。

  看起來,他這個洛總,還不能馬上從技術崗位上脫身。

  他要針對DeepSeaAI調優巧思筆記原有的知識樹擴散算法。至於新AI的API對接方案,就放手給凌野他們做。

  在這之前,先要和算力公司的商務談談。

  於是,洛北把凌野叫到了辦公室。

  「老大,怎麼了?」凌野問。

  「有空研究一下DeepSea,寫個遷移方案。」洛北開門見山,「我們準備換巧思筆記的底層模型,把原來的GPT—4o換成DeepSeaR1。

  「7

  「可以啊,馬上就跟進了。」凌野嘿嘿一笑,「我才剛看到新聞,這API價格,那比起OpenAI簡直是打骨折。換的好!這一換,至少能砍掉80%的接口開銷。」

  「省下來的部分,我們可以給用戶讓利,藉此吸引更多的新用戶,雪球可以滾起來。」洛北說,「「所以接下來幾天,你的任務有兩個。第一,保證巧思筆記現有服務穩定運行,不能因為遷移影響用屍體驗。第二,做一套完整的API對接方案,鯨海官方和第三方API平台都評估一下。」

  「明白!」凌野摩拳擦掌,「那算法層要不要————」

  「算法部分我來做。知識樹擴散算法要針對R1的特性做調優。」洛北說。這部分的工作,其他開發里,應該還沒有能接他的班的人。

  「這幾天公司技術這邊你全權負責,有問題隨時聯繫我。」他安排道。


  「收到!」凌野很佩服地看著比自己小三歲的洛北。

  資本為王的時代,懂技術的老闆很難得。而懂行懂到洛北這種親自上陣幹活的老闆,更是鳳毛麟角。

  正是為此,凌野很希望矩陣科技能闖出一片屬於自己的天空,希望洛北能成功。

  凌野看來,他們這樣的技術人不該只能為資本打工,技術人也能有下場成為棋手的一天。

  接下來兩天,公司進入了雙線作戰模式。

  凌野帶領技術團隊,在確保線上版本穩定運行的同時,開始研究新模型的對接方案。

  而洛北和葉涼都在忙於巧思筆記底層模型提供商的選型。

  鯨海求索、矽元素流、冰山引擎————幾家算力公司給出的價格大同小異。略有優惠,但是不多。

  畢竟矩陣科技目前規模還不大,每個月90萬左右的API服務費只能算中小客戶,不可能會為此大幅度讓利。

  葉涼整理著各家報價單,有些猶豫:「感覺都差不多。鯨海官方最穩,但價格沒什麼優勢。矽元素流的階梯價有吸引力,但得賭我們下個月用量能上去。冰山引擎的方案更靈活,支持混合計費,但基礎價格略高了些。」

  洛北沉吟之間,手機忽然振動起來。來電顯示:蘇幕。

  她這個時候給他打電話?洛北微微挑眉。他知道蘇大小姐的秉性,和他一樣,素來是無事不登三寶殿的。

  (還有更新耶)


關閉