第225章 開源之海
第225章 開源之海
鯨海求索科技。
洛北在給巧思筆記的大語言模型接口選型的時候,確實考慮過他們家的AI。
只是,那時候推出的DeepSeaV2版本,雖然開源,但性能在一眾大模型中顯得平平無奇。洛北再三考慮,還是選了表現效果更好的ChatGPT。
但現在,這個新推出的R1版本————
他點開資訊文章,認真讀著。
文章里附了性能對比圖,DeepSeaAIR1在文本理解、代碼生成、邏輯推理的基準測試中,成績甚至超越了谷歌的雙子座和OpenAI的GPT—4o。尤其是在中文長文本理解這一欄,領先幅度更高。
s🎸to9.com最新最快的章節更新
洛北眼神一凝。如果這個數據真實,意味著什麼?
意味著國內終於有了一款能真正和國外業界巨頭掰手腕的開源模型。
這對國內AIGC領域,絕對是個重大利好消息。
中小公司不再需要捧著美金去求國外巨頭的API配額,不用再為隨時可能被斷供的風險提心弔膽,還可以基於開源模型,搭建自己的專屬解決方案。
這也是巧思筆記的機會。
洛北立即登上常去的技術論壇,果不其然,版內討論已經炸了。在業外人士尚且覺得這是風平浪靜的一天時,程序猿們都在熱烈都在討論著DeepSeaAI的開源協議、部署成本和微調方法。
洛北沒發帖,只是默默往下翻,在這幫人的討論中挖走了很多有用信息。
藉由大師級天賦技能「代碼之神」的加持,他很快就想到了巧思筆記基於DeepSeaAI
的替代方案。
一個是矩陣科技自行本地部署。
根據鯨海求索科技官網給出的部署方案,想要部署DeepSeaR1的671B滿血版,並且至少支持日活百萬的API在線調用量,他必須要有一套成規模的算力伺服器集群。
這個規模大概是50台標準8卡的GPU伺服器,每台搭載8張英偉達H100顯卡。
而因為西大的晶片封鎖禁令,GPU伺服器價格飆升,現在市面上大概需要220萬元一台,而且供不應求。
也就是說,如果他們自己買伺服器獨立部署,大概需要1.1個億的硬體成本。這遠遠超過了矩陣科技自前可支配的資金。
另一個方案,則是直接使用鯨海求索提供的官方API。
目前矩陣科技使用的GPT—4o是目前市場上最貴的模型之一。如果按照正式版發布後,一路走高的新增用戶估計,過不多久,他們巧思筆記就會達到百萬日活。到那時,每天大概是20萬左右的API開銷。
但DeepSeaR1卻成功把價格干到很低的位置,同等吞吐量只需要3.5萬元,堪稱價格屠夫。
這已經不是省錢了,是從燒錢玩AI,降格到了隨便用AI的地步。
而且,DeepSeaAI基於大量中文語料訓練,效果應該比國外的語言模型更好。
開源代表著可定製。以後如果資金充裕,有了本地部署條件,他還可以根據教育場景的特殊需要,對模型進行針對性微調,就使用他的大師級「程式設計師」天賦,完全可以讓巧思筆記的認知能力再上一個台階。
沒有猶豫,洛北做出了決定。
遷移,必須遷移,而且越快越好。
接下來的任務,就是立即著手國產化平替:直接接入鯨海科技的官方AI,或者國內的第三方聚合平台,無論哪個,價格都相對國外的閉源AI優勢巨大。
看起來,他這個洛總,還不能馬上從技術崗位上脫身。
他要針對DeepSeaAI調優巧思筆記原有的知識樹擴散算法。至於新AI的API對接方案,就放手給凌野他們做。
在這之前,先要和算力公司的商務談談。
於是,洛北把凌野叫到了辦公室。
「老大,怎麼了?」凌野問。
「有空研究一下DeepSea,寫個遷移方案。」洛北開門見山,「我們準備換巧思筆記的底層模型,把原來的GPT—4o換成DeepSeaR1。
「7
「可以啊,馬上就跟進了。」凌野嘿嘿一笑,「我才剛看到新聞,這API價格,那比起OpenAI簡直是打骨折。換的好!這一換,至少能砍掉80%的接口開銷。」
「省下來的部分,我們可以給用戶讓利,藉此吸引更多的新用戶,雪球可以滾起來。」洛北說,「「所以接下來幾天,你的任務有兩個。第一,保證巧思筆記現有服務穩定運行,不能因為遷移影響用屍體驗。第二,做一套完整的API對接方案,鯨海官方和第三方API平台都評估一下。」
「明白!」凌野摩拳擦掌,「那算法層要不要————」
「算法部分我來做。知識樹擴散算法要針對R1的特性做調優。」洛北說。這部分的工作,其他開發里,應該還沒有能接他的班的人。
「這幾天公司技術這邊你全權負責,有問題隨時聯繫我。」他安排道。
「收到!」凌野很佩服地看著比自己小三歲的洛北。
資本為王的時代,懂技術的老闆很難得。而懂行懂到洛北這種親自上陣幹活的老闆,更是鳳毛麟角。
正是為此,凌野很希望矩陣科技能闖出一片屬於自己的天空,希望洛北能成功。
凌野看來,他們這樣的技術人不該只能為資本打工,技術人也能有下場成為棋手的一天。
接下來兩天,公司進入了雙線作戰模式。
凌野帶領技術團隊,在確保線上版本穩定運行的同時,開始研究新模型的對接方案。
而洛北和葉涼都在忙於巧思筆記底層模型提供商的選型。
鯨海求索、矽元素流、冰山引擎————幾家算力公司給出的價格大同小異。略有優惠,但是不多。
畢竟矩陣科技目前規模還不大,每個月90萬左右的API服務費只能算中小客戶,不可能會為此大幅度讓利。
葉涼整理著各家報價單,有些猶豫:「感覺都差不多。鯨海官方最穩,但價格沒什麼優勢。矽元素流的階梯價有吸引力,但得賭我們下個月用量能上去。冰山引擎的方案更靈活,支持混合計費,但基礎價格略高了些。」
洛北沉吟之間,手機忽然振動起來。來電顯示:蘇幕。
她這個時候給他打電話?洛北微微挑眉。他知道蘇大小姐的秉性,和他一樣,素來是無事不登三寶殿的。
(還有更新耶)