把智慧變便宜十倍,會發生什麼事——聽 Neil Movva 談推論成本
Invest Like the Best EP.488 聽後心得:從背景代理、GPU 的吞吐與延遲取捨,到撿別人不要的晶片與電力。教育性內容,不構成投資建議,文中不推薦個股、不給目標價。

「聖人治天下,使有菽粟如水火。菽粟如水火,而民焉有不仁者乎?」
—— 《孟子・盡心上》(戰國)
孟子講的是一件很樸素的事:當糧食便宜到跟水和火一樣,人的行為會變。不是因為誰突然變高尚,是因為「捨不得」這個念頭消失了。
2026 年 8 月 25 日這集《Invest Like the Best》,Patrick O’Shaughnessy 訪問 Sail Research 的創辦人 Neil Movva。整場對談其實就在回答一個問題:如果一個 token 便宜到你不再會「捨不得用」,這個世界會長成什麼樣子?
這集在講什麼
Neil 把自己的公司叫做「token 工廠」。他不做最快的推論,他做最便宜的推論——而且要便宜到不是省一成兩成,是十倍。
他的判斷起點是一個轉折:AI 的使用形態正在從「你打字、它回話」變成「它在背景跑好幾個小時,你去睡覺」。當人不在迴圈裡等,速度就不值錢了,成本才是唯一重要的東西。整個公司從軟體、晶片到電力,都圍著這一個賭注重建。
這場對談最好看的地方,是它把「智慧」這件抽象的事,一路拆到很物理的層次:矩陣乘法、記憶體的兩種做法、一個機櫃有多大、風不吹的時候怎麼辦。它不是一集談 AI 願景的節目,是一集談供應鏈的節目。
摘要重點
一、他賭的是「等待」會消失。 Neil 說得很直接:當你在等它,你當然該拿到最快的答案;他的招數是讓你根本不在等。最好的延遲是沒有延遲——早上醒來,活已經做完了,你甚至沒開口要。他還補了一刀:你在迴圈裡不斷下指令、等回應的時候,瓶頸其實是你。人不會每五分鐘管一次同事,你交代一個大任務,可能一週才問一次進度。他認為人與代理的協作終將回到人的時間尺度。他估今年底背景與即時各半,長期會走到九比一。
二、GPU 裡有一個掰不開的取捨。 他用公車跟私家車解釋:私家車走最短路徑直達,公車要停很多站、等人上下車,但它一次載很多人。GPU 想要吞吐量,就得把很多人的請求打包成一個大批次一起算,每個人都會被載著繞路;想要低延遲,就得把一個大矩陣切成八份分給八張卡算——用八倍硬體換四到五倍速度,這叫次線性擴展,通訊成本吃掉了差額。他的選擇是造最好的公車。
三、「沒有壞晶片,只有壞定價。」 這是他整套策略的核心句。他不跟前沿實驗室搶最好的晶片,那是必輸的競標;他去撿別人看不上的供給——別人不會寫的架構、別人不想碰的電力。最狠的一句是關於可用率:一座只有 95% 可用率的資料中心,對所有人都是致命的、賣不掉的,「我就是那第一個買家」。因為他的客戶是跑好幾小時的代理,中間卡個十分鐘沒人在乎。他甚至說,若價格對,80% 也能考慮——那樣他就能用別人沒辦法用的風電和太陽能,因為停機是可預測的,他提前把工作搬走就好。
他形容自己在蓋鋼廠,但走的是小型電爐廠的路線,不是一體式大鋼廠。
四、資料的免費紅利講完了。 他說網際網路是一次性的資料補貼,高品質文本大約三十兆個 token,放寬標準三百兆,而模型已經把它看過很多遍了。更反直覺的是後面那句:現在連隨機使用者的回饋都不值錢了,因為中位數的模型已經比隨便一個路人聰明,你要的是專家級的偏好。所以下一階段的資料不是「蒐集」來的,是模型在可驗證的任務環境裡自己跑出來的。至於不可驗證的那一半——他說那是人類品味的整個範疇,他明白地留給人:寫作的好壞、藝術的美,交給人。
五、真正的浪費不在算力,在記憶體和調度。 他認為算力其實用得挺省了,稀疏模型每次只點亮百分之一的專家。浪費在兩個地方:一是 KV 快取(模型記住對話上下文的那塊記憶體)幾乎沒被壓縮,他估計現在的存法差了一到兩個數量級;二是全世界的 GPU 大量閒置在私有池裡,「那些矽和電力就這樣坐在那裡,讓我身體上感到痛苦」。他說大家笑某家公司叢集利用率低,其實世界其他地方更慘。
六、一個很反共識的判斷。 他說如果你比較同一件事——每瓦能做多少次 bfloat16 乘法——從 Hopper 到 Blackwell 到 Rubin,其實沒進步太多;再往上看台積電 5 奈米到 4 到 3 到 2,每瓦效能的差距也沒有想像中戲劇化。推論是:大家對地緣政治斷供的恐慌可能過頭了,供給會受衝擊沒錯,但西方最好的替代製程「最差大概差兩倍」,跟輿論裡描繪的斷崖不是同一回事。
七、領先三到六個月的溢價,撐不撐得住? 他認為前沿實驗室為了領先三到六個月付出巨大代價,現在還划算。但他丟了一個尖銳的觀察:企業根本不用最新的模型,很多還停在兩三代前,導入速度跟不上發表速度。而且蒸餾這件事已經被動地在發生了——過去一年 GitHub 上新開的專案,有多少是 AI 寫的?如果使用者擁有自己與 AI 互動的產出並選擇公開,那能力的擴散就攔不住,剩下的只是快慢問題。
延伸想法
「新聞都在講缺貨、講漲價,這種利多我該追嗎?」
這是每次產業循環裡最折磨人的問題。Neil 的整套供應鏈拆解,剛好給了一個判讀順序。
他建議想做晶片的創業者,先講清楚三到五個瓶頸:台積電的晶圓產能、HBM 記憶體產能、先進封裝,第四個是電力。這句話對投資人的價值不在於名單本身,而在於它提醒你——瓶頸是會移動的。今天卡在封裝,明天可能卡在記憶體,後天卡在你根本沒在看的變電站。他自己下的注是記憶體,理由很不浪漫:「波夕那些人不愛為景氣循環產品砸大錢,他們被燒過太多次了。」擴產不是技術問題,是心理陰影。
更重要的是那句沒說出口的判準:供應吃緊,不等於有議價權。缺貨的時候人人都出貨滿載,但只有能漲價、能簽長約、毛利真的走高的那一層,才是真正卡住的瓶頸。看到一則缺貨新聞時,值得多問一句:這家公司在漲價,還是只是在加班?
而 Neil 自己的角色更值得玩味——他做的事本質上是套利瓶頸。當某類晶片被市場認為不好用,他很開心,「這對我來說是天籟」。這意味著同一則產業新聞,對不同位置的人是完全相反的訊號:對搶貨的人是壞消息,對撿貨的人是好消息。你在看一則新聞的時候,先問自己站在哪一邊。
「半導體佔了大盤五分之一,這是不是 2000 年重演?」
Patrick 問得很誠實:這個比例歷史上是百分之二三,現在是百分之二十,看過市場歷史的人都知道這種曲線後來怎麼了。
Neil 的回應是他整場最值得記下來的一段論證。他說他不是歷史的學生,是歷史的一員——1997 年出生,媽媽在網路泡沫前後任職於英特爾,他記得思科是世界第一大公司的那段日子。他認為關鍵差異在於:當年對網通設備的投資是投機性的,蓋的是預期中永遠沒來的使用者;而今天的 token 消費是即時的,沒有人囤 token,買了就用掉。他甚至區分了兩年前和現在:2023 到 2024 年的缺貨是訓練導向的,而訓練本身就是投機性支出;現在大家在做的事情剛好相反——每家公司都在給員工的用量設上限。
這個論證有力,但真正有用的是把它翻成一把可以自己用的尺:分辨投機與消費,看的是東西買來馬上用掉,還是囤著等未來。這條尺不只能量半導體,也能量你手上任何一個持股的下游需求。
同時要誠實面對它的失效條件——這是聽任何一段有說服力的論證時最該做的事。如果哪天推論支出開始靠融資撐、靠補貼價爭市佔、或者買方自己也是靠外部資金才付得起這筆錢,那「即時消費」的性質就變了,變成另一種形式的預備性投資。判準沒錯,但要記得定期回去檢查它的前提還在不在。
「規格比較差的東西,是不是就沒得玩了?」
這集裡最能跨出投資圈的一課,其實是那句 95% 可用率。
同一個規格,在一群人眼中是致命缺陷,在另一個人眼中是最佳採購。差別不在規格,在驗收標準是誰定的。Neil 能買別人不敢買的資料中心,前提是他先把自己的工作型態改成「可以容忍中斷」——他有一個夠強的調度層,任何一次故障都能把工作搬到別的地方去。他不是勇敢,他是先把自己改造成那種買家。
這個結構在投資判斷裡到處都是。一家公司的產品在主流評測裡排第三,不代表它沒有市場,要問的是「有沒有一群客戶的驗收標準剛好不看那一項」。反過來也成立:一家公司在某個指標上遙遙領先,如果那個指標正在從必要條件變成加分項——就像 Neil 說的,他根本不在乎低延遲——那個領先就不再值錢了。
Neil 對輝達的看法正是這種結構的示範。他一邊說短期看多、永遠不要做空它,一邊冷靜指出:輝達最強的那項技術(卡與卡之間的高速互連)解決的是延遲問題,而他不需要延遲。這不是唱衰,是說明優勢是相對於用途存在的。當用途改變,優勢清單要重排一次。
可以參考的資料
- 節目本身:Invest Like the Best,EP.488,Neil Movva,2026 年 8 月 25 日
- 想理解吞吐與延遲的取捨,可以從任何一本作業系統或計算機結構教科書談批次處理那章開始,那個取捨在資料庫、網路、工廠排程裡完全一樣
- 想理解「一次性資料紅利」這個說法,值得回去看擴展定律(scaling laws)相關的公開論文,理解資料、算力、參數三者的關係
- 想理解瓶頸移動,鋼鐵業從一體式大廠走向小型電爐廠的那段產業史,是 Neil 自己引用的類比,很值得單獨讀
帶得走的一件事
便宜十倍不是打折,是換了一個品類。
這是 Neil 講得最好的一句話,而且它跟 AI 沒關係。當一樣東西便宜十倍,你不會只是「多買一點」——你會開始做以前根本不會考慮的事。他說得很具體:你要願意在沒有任何回報承諾的情況下花掉 token,那才是解鎖。因為當每次使用都要先算划不划算,你只會拿它做那些已經確定有價值的事,而所有真正的新東西,都在「不確定有沒有價值」那一區裡。
貴,不只是讓你少用;貴會讓你只用在已知的用途上,於是你永遠不會發現新的用途。
今天可以做的一件事:挑一樣你身邊「因為捨不得所以只在重要場合用」的東西——可能是你那套好的餐具、留著給客人的好茶、你捨不得穿的鞋、或是你只有在對方遇到大事才願意打的那通電話。今天就把它用在一個完全不重要的日常場合:星期二晚上一個人吃飯用那套餐具,或是打電話給那個人,然後說「沒事,就是想到你」。
用完之後,記下你注意到的東西。你多半會發現,這樣東西的價值有一大半,本來就藏在那些你以為不值得動用它的日子裡。
本文為投資方法論的教育性分享,不構成任何個股買賣建議、不提供目標價、不針對當期標的。投資有風險,任何決策請自行判斷或諮詢合格的專業人士。