investing

把智慧變便宜十倍,會發生什麼事——聽 Neil Movva 談推論成本

Invest Like the Best EP.488 聽後心得:從背景代理、GPU 的吞吐與延遲取捨,到撿別人不要的晶片與電力。教育性內容,不構成投資建議,文中不推薦個股、不給目標價。

  • AI推論
  • 算力供應鏈
  • 背景代理
  • 瓶頸分析
  • 投資思考

清晨的開闊平原上,一排排冰箱大小的機櫃沿著田埂延伸到地平線,風機與太陽能板夾在其間,低角度的晨光把最近的機櫃照亮、遠處沒入薄霧

「聖人治天下,使有菽粟如水火。菽粟如水火,而民焉有不仁者乎?」

—— 《孟子・盡心上》(戰國)

孟子講的是一件很樸素的事:當糧食便宜到跟水和火一樣,人的行為會變。不是因為誰突然變高尚,是因為「捨不得」這個念頭消失了。

2026 年 8 月 25 日這集《Invest Like the Best》,Patrick O’Shaughnessy 訪問 Sail Research 的創辦人 Neil Movva。整場對談其實就在回答一個問題:如果一個 token 便宜到你不再會「捨不得用」,這個世界會長成什麼樣子?

這集在講什麼

Neil 把自己的公司叫做「token 工廠」。他不做最快的推論,他做最便宜的推論——而且要便宜到不是省一成兩成,是十倍。

他的判斷起點是一個轉折:AI 的使用形態正在從「你打字、它回話」變成「它在背景跑好幾個小時,你去睡覺」。當人不在迴圈裡等,速度就不值錢了,成本才是唯一重要的東西。整個公司從軟體、晶片到電力,都圍著這一個賭注重建。

這場對談最好看的地方,是它把「智慧」這件抽象的事,一路拆到很物理的層次:矩陣乘法、記憶體的兩種做法、一個機櫃有多大、風不吹的時候怎麼辦。它不是一集談 AI 願景的節目,是一集談供應鏈的節目。

摘要重點

一、他賭的是「等待」會消失。 Neil 說得很直接:當你在等它,你當然該拿到最快的答案;他的招數是讓你根本不在等。最好的延遲是沒有延遲——早上醒來,活已經做完了,你甚至沒開口要。他還補了一刀:你在迴圈裡不斷下指令、等回應的時候,瓶頸其實是你。人不會每五分鐘管一次同事,你交代一個大任務,可能一週才問一次進度。他認為人與代理的協作終將回到人的時間尺度。他估今年底背景與即時各半,長期會走到九比一。

上面一條被切成八段的短時間軸,代表你打字它回話、你全程在旁邊等;下面一條完整的長條,代表它自己跑好幾小時、你已經離開;最下方兩根比例條顯示背景的比重從一半長到九成

二、GPU 裡有一個掰不開的取捨。 他用公車跟私家車解釋:私家車走最短路徑直達,公車要停很多站、等人上下車,但它一次載很多人。GPU 想要吞吐量,就得把很多人的請求打包成一個大批次一起算,每個人都會被載著繞路;想要低延遲,就得把一個大矩陣切成八份分給八張卡算——用八倍硬體換四到五倍速度,這叫次線性擴展,通訊成本吃掉了差額。他的選擇是造最好的公車。

左邊兩條路線,上面一輛車載一個人直達、下面一條路上停了四站但載滿人;右邊兩根柱子,投入的卡數是八倍高,換到的速度只有四點五倍高,缺口被標成通訊吃掉

三、「沒有壞晶片,只有壞定價。」 這是他整套策略的核心句。他不跟前沿實驗室搶最好的晶片,那是必輸的競標;他去撿別人看不上的供給——別人不會寫的架構、別人不想碰的電力。最狠的一句是關於可用率:一座只有 95% 可用率的資料中心,對所有人都是致命的、賣不掉的,「我就是那第一個買家」。因為他的客戶是跑好幾小時的代理,中間卡個十分鐘沒人在乎。他甚至說,若價格對,80% 也能考慮——那樣他就能用別人沒辦法用的風電和太陽能,因為停機是可預測的,他提前把工作搬走就好。

一條從百分之百往下遞減的可用率刻度,最左邊很窄的一段是所有人在搶的區間,往右一大段是他一個人的採購區

他形容自己在蓋鋼廠,但走的是小型電爐廠的路線,不是一體式大鋼廠。

四、資料的免費紅利講完了。 他說網際網路是一次性的資料補貼,高品質文本大約三十兆個 token,放寬標準三百兆,而模型已經把它看過很多遍了。更反直覺的是後面那句:現在連隨機使用者的回饋都不值錢了,因為中位數的模型已經比隨便一個路人聰明,你要的是專家級的偏好。所以下一階段的資料不是「蒐集」來的,是模型在可驗證的任務環境裡自己跑出來的。至於不可驗證的那一半——他說那是人類品味的整個範疇,他明白地留給人:寫作的好壞、藝術的美,交給人。

左邊一個裝滿小方塊的固定池子代表一次性的網路文本補貼,箭頭指向右邊兩個新來源:上面是可驗證環境的循環,下面是留給人的不可驗證那半

五、真正的浪費不在算力,在記憶體和調度。 他認為算力其實用得挺省了,稀疏模型每次只點亮百分之一的專家。浪費在兩個地方:一是 KV 快取(模型記住對話上下文的那塊記憶體)幾乎沒被壓縮,他估計現在的存法差了一到兩個數量級;二是全世界的 GPU 大量閒置在私有池裡,「那些矽和電力就這樣坐在那裡,讓我身體上感到痛苦」。他說大家笑某家公司叢集利用率低,其實世界其他地方更慘。

三條長短差很多的橫條代表浪費程度,算力那條很短,記憶體快取與閒置顯示卡那兩條長得多

六、一個很反共識的判斷。 他說如果你比較同一件事——每瓦能做多少次 bfloat16 乘法——從 Hopper 到 Blackwell 到 Rubin,其實沒進步太多;再往上看台積電 5 奈米到 4 到 3 到 2,每瓦效能的差距也沒有想像中戲劇化。推論是:大家對地緣政治斷供的恐慌可能過頭了,供給會受衝擊沒錯,但西方最好的替代製程「最差大概差兩倍」,跟輿論裡描繪的斷崖不是同一回事。

七、領先三到六個月的溢價,撐不撐得住? 他認為前沿實驗室為了領先三到六個月付出巨大代價,現在還划算。但他丟了一個尖銳的觀察:企業根本不用最新的模型,很多還停在兩三代前,導入速度跟不上發表速度。而且蒸餾這件事已經被動地在發生了——過去一年 GitHub 上新開的專案,有多少是 AI 寫的?如果使用者擁有自己與 AI 互動的產出並選擇公開,那能力的擴散就攔不住,剩下的只是快慢問題。

延伸想法

「新聞都在講缺貨、講漲價,這種利多我該追嗎?」

這是每次產業循環裡最折磨人的問題。Neil 的整套供應鏈拆解,剛好給了一個判讀順序。

他建議想做晶片的創業者,先講清楚三到五個瓶頸:台積電的晶圓產能、HBM 記憶體產能、先進封裝,第四個是電力。這句話對投資人的價值不在於名單本身,而在於它提醒你——瓶頸是會移動的。今天卡在封裝,明天可能卡在記憶體,後天卡在你根本沒在看的變電站。他自己下的注是記憶體,理由很不浪漫:「波夕那些人不愛為景氣循環產品砸大錢,他們被燒過太多次了。」擴產不是技術問題,是心理陰影。

更重要的是那句沒說出口的判準:供應吃緊,不等於有議價權。缺貨的時候人人都出貨滿載,但只有能漲價、能簽長約、毛利真的走高的那一層,才是真正卡住的瓶頸。看到一則缺貨新聞時,值得多問一句:這家公司在漲價,還是只是在加班?

兩張小圖裡出貨量都在上升,左邊那張的價格線是平的,右邊那張的價格線跟著往上翹

而 Neil 自己的角色更值得玩味——他做的事本質上是套利瓶頸。當某類晶片被市場認為不好用,他很開心,「這對我來說是天籟」。這意味著同一則產業新聞,對不同位置的人是完全相反的訊號:對搶貨的人是壞消息,對撿貨的人是好消息。你在看一則新聞的時候,先問自己站在哪一邊。

「半導體佔了大盤五分之一,這是不是 2000 年重演?」

Patrick 問得很誠實:這個比例歷史上是百分之二三,現在是百分之二十,看過市場歷史的人都知道這種曲線後來怎麼了。

Neil 的回應是他整場最值得記下來的一段論證。他說他不是歷史的學生,是歷史的一員——1997 年出生,媽媽在網路泡沫前後任職於英特爾,他記得思科是世界第一大公司的那段日子。他認為關鍵差異在於:當年對網通設備的投資是投機性的,蓋的是預期中永遠沒來的使用者;而今天的 token 消費是即時的,沒有人囤 token,買了就用掉。他甚至區分了兩年前和現在:2023 到 2024 年的缺貨是訓練導向的,而訓練本身就是投機性支出;現在大家在做的事情剛好相反——每家公司都在給員工的用量設上限。

左邊的箱子東西進去馬上出去、幾乎是空的,右邊的箱子被塞滿而出口只有一條虛線通往還沒出現的使用者

這個論證有力,但真正有用的是把它翻成一把可以自己用的尺:分辨投機與消費,看的是東西買來馬上用掉,還是囤著等未來。這條尺不只能量半導體,也能量你手上任何一個持股的下游需求。

同時要誠實面對它的失效條件——這是聽任何一段有說服力的論證時最該做的事。如果哪天推論支出開始靠融資撐、靠補貼價爭市佔、或者買方自己也是靠外部資金才付得起這筆錢,那「即時消費」的性質就變了,變成另一種形式的預備性投資。判準沒錯,但要記得定期回去檢查它的前提還在不在。

「規格比較差的東西,是不是就沒得玩了?」

這集裡最能跨出投資圈的一課,其實是那句 95% 可用率。

同一個規格,在一群人眼中是致命缺陷,在另一個人眼中是最佳採購。差別不在規格,在驗收標準是誰定的。Neil 能買別人不敢買的資料中心,前提是他先把自己的工作型態改成「可以容忍中斷」——他有一個夠強的調度層,任何一次故障都能把工作搬到別的地方去。他不是勇敢,他是先把自己改造成那種買家。

這個結構在投資判斷裡到處都是。一家公司的產品在主流評測裡排第三,不代表它沒有市場,要問的是「有沒有一群客戶的驗收標準剛好不看那一項」。反過來也成立:一家公司在某個指標上遙遙領先,如果那個指標正在從必要條件變成加分項——就像 Neil 說的,他根本不在乎低延遲——那個領先就不再值錢了。

Neil 對輝達的看法正是這種結構的示範。他一邊說短期看多、永遠不要做空它,一邊冷靜指出:輝達最強的那項技術(卡與卡之間的高速互連)解決的是延遲問題,而他不需要延遲。這不是唱衰,是說明優勢是相對於用途存在的。當用途改變,優勢清單要重排一次。

可以參考的資料

  • 節目本身:Invest Like the Best,EP.488,Neil Movva,2026 年 8 月 25 日
  • 想理解吞吐與延遲的取捨,可以從任何一本作業系統或計算機結構教科書談批次處理那章開始,那個取捨在資料庫、網路、工廠排程裡完全一樣
  • 想理解「一次性資料紅利」這個說法,值得回去看擴展定律(scaling laws)相關的公開論文,理解資料、算力、參數三者的關係
  • 想理解瓶頸移動,鋼鐵業從一體式大廠走向小型電爐廠的那段產業史,是 Neil 自己引用的類比,很值得單獨讀

帶得走的一件事

便宜十倍不是打折,是換了一個品類。

這是 Neil 講得最好的一句話,而且它跟 AI 沒關係。當一樣東西便宜十倍,你不會只是「多買一點」——你會開始做以前根本不會考慮的事。他說得很具體:你要願意在沒有任何回報承諾的情況下花掉 token,那才是解鎖。因為當每次使用都要先算划不划算,你只會拿它做那些已經確定有價值的事,而所有真正的新東西,都在「不確定有沒有價值」那一區裡。

一條門檻線從高處往下移動,原本被擋在下面的一大片點子被納進來,那一片就是還不確定有沒有價值的嘗試

貴,不只是讓你少用;貴會讓你只用在已知的用途上,於是你永遠不會發現新的用途。

今天可以做的一件事:挑一樣你身邊「因為捨不得所以只在重要場合用」的東西——可能是你那套好的餐具、留著給客人的好茶、你捨不得穿的鞋、或是你只有在對方遇到大事才願意打的那通電話。今天就把它用在一個完全不重要的日常場合:星期二晚上一個人吃飯用那套餐具,或是打電話給那個人,然後說「沒事,就是想到你」。

用完之後,記下你注意到的東西。你多半會發現,這樣東西的價值有一大半,本來就藏在那些你以為不值得動用它的日子裡。

本文為投資方法論的教育性分享,不構成任何個股買賣建議、不提供目標價、不針對當期標的。投資有風險,任何決策請自行判斷或諮詢合格的專業人士。