Odd Lots 聽後心得:一家美國公司怎麼用中國的開放權重模型

2026 年 11 月 20 日上線的《Odd Lots》,Tracy Alloway 與 Joe Weisenthal 訪問行銷 AI 公司 Minerva 共同創辦人 Dan Saidi:開發產品用前沿閉源模型,上線後跑重複任務改用自己微調的中國開放權重模型;他舉 Harvey 花約 600 萬美元算力把自家法律模型推到法律任務前沿,跟跑一個前沿模型的花費差兩三個數量級,而微調過的成果搬不到下一版權重上。節目 11 月 3 日錄製,數字都是當時的說法。教育性聽後心得,不含投資建議、不喊單、不給目標價,個人判讀可能出錯。
目錄

汝果欲學詩,工夫在詩外。
—— 陸游〈示子遹〉(南宋,約 13 世紀初)
2026 年 11 月 20 日上線、11 月 3 日錄製的這集《Odd Lots》,Tracy Alloway 與 Joe Weisenthal 訪問行銷 AI 公司 Minerva 的共同創辦人 Dan Saidi,他在橋水待了五年半才出來創業。他講的分工是:開發產品的時候付錢用最前沿的閉源模型,產品上線後那些會重複一千次的任務,換成自己微調過的中國開放權重模型。他給的對照是法律 AI 公司 Harvey 用了約 600 萬美元的算力,把自家的法律模型推到法律任務的前沿,拿這個去比跑一個新的前沿模型要花多少,差了兩三個數量級。成立的條件他自己也講了:手上的資料要是打過分、驗過的,資料是雜訊的話整件事不成立;以下數字都是錄製當時的說法。
這集在問什麼
兩位主持人開場把 2025 年 1 月 DeepSeek 那一驚的問題重寫了一遍:前沿或接近前沿的智慧會不會變成大宗商品,變成了就收不到溢價,花了那麼多資本支出的美國閉源公司要怎麼交代。對這個題目的常見回嘴有兩種,一種說中國模型在蒸餾西方模型、算抄的,另一種說它們只是會考試,丟進真實部署就不行。
所以這集請來一個每天拿錢去買這些模型的人。Minerva 做行銷自動化,把行銷人員從活動開跑前的規劃到投放執行之間那堆重複流程交給代理人跑,讓人去想故事和標語。他們同時用閉源與開放權重的模型。
開放權重不等於開源
Tracy 先把名詞問清楚,這一段是全集最實用的一塊。開源的意思是連程式、資料、訓練配方都公開;中國的實驗室放出來的是權重,也就是最後那個成品。他的比較很具體:用 OpenAI 和 Anthropic 時,資料送進一個端點、拿資料回來,中間怎麼來的沒有概念;中國實驗室至少讓你把模型下載下來、自己架起來跑。
可是配方照樣是黑的。他說除了那些論文之外,他不知道對方怎麼從一堆雜亂的資料和一套架構走到這個成品。
貴的用來蓋房子,便宜的用來跑日子
他們寫程式、蓋產品的階段用 Claude、用 Astra,用前沿那一排,理由是工程師的時間——他不想讓開發的人把時間花在繞圈子和收拾錯誤上。等到某件事變成可重複、只要做到客戶滿意就夠的任務,帳就換了一本:這時候他盯的是每完成一件任務的成本,媒體上大家在看的是每百萬 token 多少錢。他那句話我抄下來了——完成任務所需的最低水準拿到最低的價錢,中間差的就是我的毛利。
Joe 後來把這個結構講成一句話,問他這樣算不算:前沿閉源當資本支出,便宜的開放權重當營運支出的那顆腦子。
他回答是。
微調是應用層現在真正的優勢
他說應用層目前最主要的好處就是能在開放權重上面做微調。推理鏈是這樣的:模型之所以強,來自實驗室花錢買下的大量資料,而新創手上只有客戶那一點,拿不出實驗室那種幾十億美元等級的資料,所以得換一條路。
他們的例子好懂。使用者打一句「幫我找出在 OpenAI 工作又喜歡美式足球的人,組成一個受眾」,以前是拿 OpenAI 的模型把這句話翻成 SQL、去資料庫撈、再呈現給使用者,慢,而且得用貴的模型。Qwen 直接拿來用的話,表現跟 OpenAI 的模型差不多,輸給 Astra 或 Sol 那一級。他們改成拿幾千筆標好的例子——一個複雜的查詢對上一個正確的結果——打完分去微調 Qwen,告訴模型專心看這批結果、盡量重現。結果是比閉源模型快,在接複雜查詢這件事上給出客戶要的東西。他把這個叫做「一個很小的優勢」。
價格那一段也落地。走 Fireworks 這類服務,微調大約是每百萬輸入與輸出 token 付 7 到 9 美元,而這裡的輸出 token 就是模型權重被改動的部分;他說外面有人最後一次訓練只花 90 美元就做出表現不錯的模型。一年前要自己幹這件事,得養一隊推論工程師管併發、管 GPU 上跑的服務軟體,所以 Llama 開源兩年,也只有研究單位和 Uber 這種大公司試過。
微調的東西搬不到下一版
Tracy 追問了我也會問的:微調出來的東西能撐多久?他的答案是這是現在創辦人最大的決策點。Kimi 3 上微調的成果,不會自己轉移到 Kimi 3.1 上去——而他說 Kimi 3.1 的權重在錄音那週就要出。能搬的是資料集,手上那批由專家打過分的答案夠可靠的話,至少還能再微調一次。
搬不過去的是把握。他回頭用了前面那句:我不知道他們當初怎麼走到那組權重的,所以同一份訓練資料會不會在新權重上收斂到一樣好的結果,他不知道。這個未知要當風險項寫進決策的算式裡。
被付錢的是資料和評測
他說這三年看下來,凡是跟晶片、電力沾上關係的環節,玩家就會湧進來、競爭就會起來。跑這些模型的中間層已經被做成了標準品,可是 Fireworks 和 Modal 兩家各自坐在 10 億美元的年經常性收入上,他猜單位經濟還不錯。分開一個好微調和一個壞微調的,是資料和擺進去的評測——拿來給模型打分的題目與標準答案,所以實驗室願意付幾十億美元給那些資料公司。
他講了一個細節:有人在一份完整的公司資料集上出到 25 萬到 50 萬美元,光是把公司介紹過去就付 5 到 10 萬美元。什麼叫好資料,他舉的例子讓我停了一下——老師以前跟你說「我不要你的答案,我要你把過程寫出來」,AI 需要的就是那個。所以行銷這行好做,公司手上有通話紀錄、有廣告、有做出那些廣告的創意過程;換成建築業就難了,藍圖在那裡,可是建築師、總承包商和業主之間那些把藍圖改掉的來回對話,沒人留著。
obliterated:把說「不」的那組神經元關掉
被問到資安風險,他說為了這集先去玩了最新的 DeepSeek 無審查版,那是現在他認為前沿級開放權重模型最大的風險。有人對放出來的模型動的手腳,是把叫模型說「不」的那些神經元關掉;節目裡用的字是 obliterated model,三個人在這個字上笑了一輪,Joe 說他想弄一台來玩玩。
接下來是數字:這東西跑起來混合輸入輸出約每百萬 token 30 美分,比 Sonnet 便宜約十倍,而 Sonnet 又比 Fable 便宜約十倍,所以是跑 Fable 的百分之一成本,而你可以叫它做任何事。
他把實驗室擔心的點指到別的地方:資料流到中國這件事他叫大家先放下,模型本身的漏洞也不在清單上,留在清單上的那個是任何人改幾個參數就能在雲上養一千個博士級的攻擊者。他沒有好的政策答案,想到的是下載權重前先驗身分;要找到一個地方,讓他這種公司還能下載權重做微調,同時別讓那些人也下載得到。
蒸餾吵不出來,判準已經換了
Joe 直接問他:你能這樣幹,有多少是被蒸餾補貼的?沒有人違反服務條款的話,開源根本落不到前沿後面六個月的位置。他拿一家守規矩的美國公司當對照組:Reflection AI 放出旗艦模型,背後有 NVIDIA 的錢、有一萬二到一萬四千顆 Blackwell 的叢集,出來的東西落在前沿後面六到九個月,比中國的開放權重模型晚三到六個月。Joe 當場質疑這算什麼證據——一家被 NVIDIA 持有的美國公司當然會照規矩來。他修正成:中國那些實驗室如果照規矩走,位置會落在 Reflection 附近,所以蒸餾存在,占多少功勞有得吵。他接著補了獨立的那一半證據:舊金山的研究員談起對岸,會談蒸餾,也會談他們發論文發得多凶、談稀疏模型省下來的算力,錄音前幾週 DeepSeek 把整套推論框架公開,而 Fireworks、Modal 這些公司拿去改進自己服務的效率。
Tracy 問下一個 DeepSeek 時刻會長什麼樣,而他的回答把評測掃到一邊。他說自己連 5 和 5.1 之間的差別都辨不出來,那要怎麼辨 5 和 Kimi 3.1;跑分再高,對他有什麼意義。判準落到能不能換人:把 Kimi 3.2 塞進他原本的聊天機器人流程、塞進他寫程式的日常,看表現差不多嗎。他自己的量法是——我還會不會對著終端機罵髒話?不罵了就是追上了。
新聞說中國模型追上了,我要不要改看法
評測那一段讓我想到自己讀新聞的習慣。跑分能被打榜,而連他這種每天用的人都分不出相鄰兩版的差別;我拿著一張跑分表去調整對整條 AI 產業鏈的看法,手上那個訊號比我以為的弱很多。
他給的替代判準可以搬過來用,而且不必懂技術:看有沒有人把便宜的那顆換進去跑日常。這條線在公開資料裡找得到形狀——一家公司談自己的模型優勢時,端出來的是跑分,還是客戶續用、任務完成率、單位成本往下走的曲線。Joe 和 Tracy 在結尾提到的也屬於同一類訊號:問起來,不少美國大公司私下會講自己在用 Qwen 和 Kimi,公開不講;願意講的時候,講的是微調做出了什麼成果。
雜音和結構的分法在這裡就有了。某家中國實驗室跑分又贏了,是雜音;某一類重複任務的單價被打掉九成而客戶接受了那個品質,是結構。跑分的消息每個月都有,而單價掉九成會改掉別人的毛利表。
一家公司說自己有護城河,我會先驗哪一欄
這集幫我把「用了 AI」拆成三格:它在替誰省錢、它手上有沒有別人沒有的資料、這個優勢每年要重付多少錢。
第三格是我以前漏掉的,而第五點已經把機制講完了:這是年年要付的營運費用。我看這類故事時會把它從資本支出那一欄挪到營運費用那一欄再看一次估值,換過之後我給的分數通常低一級。
另一格被他講出來、我以前沒當成收益的,是議價權。他說就算你最後不把自己微調的模型端給客戶,光是手上有一顆,你就能去跟 OpenAI 和 Anthropic 說我有這個東西,對話從「要不要自動化」變成兩種自動化之間的選擇。這種好處落在採購價格那一欄,營收那欄看不到;而 Joe 猜很多公司還是在付那筆給兩家大廠的稅。
可以參考的資料
- 《Odd Lots》2026 年 11 月 20 日上線的這集(11 月 3 日錄製),本文的來源
- Fireworks、Modal 這類微調託管服務的公開定價頁
- DeepSeek 公開的推論框架與相關論文
- Reflection AI 近期釋出的旗艦開放權重模型與其跑分結果
- 節目裡提到的 Harvey 與 Legora 兩家法律 AI 公司的收費方式(按席次與按用量)
帶得走的一件事
貴的工具用在你只會做一次的事,便宜的工具用在你會重複一千次的事;分界線是這件事你還要再做幾遍。
這集裡那家公司蓋產品時買最前沿的模型,上線後把同一批任務換成夠用的便宜模型,省下來的那一截就是它的毛利。
我試過的一個做法,跟投資無關也成立。挑一件你這週重複做了三次以上的事——對帳、回同一類訊息、接送、備菜、每天整理某個表格都算——先憑印象寫下「做完一次」要花多少時間、多少錢、事後要收拾多久。下一次做的時候拿手機計時,回來對答案。差最多的那一段,就是值得花錢買好工具或交給別人的那一段。
本文為投資方法論的教育性分享,不構成任何個股買賣建議、不提供目標價、不針對當期標的。投資有風險,任何決策請自行判斷或諮詢合格的專業人士。
留言
載入留言中…