閱讀約 7 分鐘瀏覽 8 次investing

雪崩先打中數學,接下來輪到 AI 自己——Dwarkesh Podcast 聽後心得

清晨的高山谷地,前景一張木長椅上攤著畫滿幾何圖形的筆記本,中景一排量雪桿沿著坡面一支一支往上走,更深處的坡上留著一道新的雪崩痕

2026 年 11 月 13 日《Dwarkesh Podcast》〈The avalanche that hit math is coming for AI development〉,Dwarkesh Patel 把「AI 在 AI 研究上追平最強人類」的中位年份押在 2028 年,也留了 25% 以上的機率給 2032 年之後。他引用的九月兩筆資料是 METR 駐點 Anthropic 三個月後的兩倍進展速度,以及 Anthropic 自述 Claude 主導 26% 的研發工作。本文拆這個推論靠哪個條件成立、反面最有力的質疑在哪。教育性聽後心得,不含投資建議、不喊單、不給目標價,節目中的數字多為講者口頭估計,個人判讀可能出錯。

  • Dwarkesh Podcast
  • podcast心得
  • AI研究自動化
  • 超智慧
  • 可驗證性
目錄
  1. 他的主張:能對答案的題目會被整片吃掉
  2. 站到反面:被挑好的那座山,和挑山的那個人
  3. 我的判斷:差在「下一座山能不能被便宜地標出來」
  4. 可以參考的資料
  5. 帶得走的一件事

清晨的高山谷地,前景一張木長椅上攤著畫滿幾何圖形的筆記本,中景一排量雪桿沿著坡面一支一支往上走,更深處的坡上留著一道新的雪崩痕

能精此書者,無一事不可精;好學此書者,無一事不可學。

—— 徐光啟《幾何原本雜議》(明,1607 年)

2026 年 11 月 13 日《Dwarkesh Podcast》的〈The avalanche that hit math is coming for AI development〉,整集只有 Dwarkesh Patel 一個人講。他把「AI 在 AI 研究這件事上追平最強的人類」的中位年份押在 2028 年,同時留了 25% 以上的機率,說這事要等到 2032 年之後。他拿出來的新證據有兩筆都出現在九月:獨立評測機構 METR 在 Anthropic 駐點三個月後的結論是,這家公司在界線清楚的任務上的進展速度是一年前的兩倍,而這股加速多數來自他們自己大量用 AI 做研發;Anthropic 同月自己貼文說,Claude 已經主導 26% 的 AI 研發工作,二月時這個數字還不到 1%。整段推論架在一個條件上面:AI 研究的大部分進展,能被一個便宜的分數接住。

他的主張:能對答案的題目會被整片吃掉

他用數學當開場,而這條時間線攤開來看是會讓人安靜一下的。2023 年那批模型連四位數加法都做不穩;2024 年高中競賽題解不出幾題;2025 年拿到國際數學奧林匹亞的金牌;今年初開始解掉一些冷門的未解問題;一個月前,OpenAI 的模型用 88 小時解掉了一個千禧年難題。他引《伊甸之東》裡的一句話形容這種節奏——神祇倒下的時候不會只倒一點,他們是整個崩碎。

一道由左至右越墊越高的階梯,前兩階很矮、最後兩階陡然拔高,呈現數學能力三年內從四位數加法跳到千禧年難題的陡升形狀

接著他把這個經驗搬去 AI 研究,理由我聽完覺得是全集最站得住的一段。數學這一行要的是新概念:拓樸、群論,再往前推是笛卡兒的座標格;證不證得出長長一串猜想,價值排在概念後面。AI 實驗室的優先順序剛好翻過來——他們要的是一份配方在經驗上讓訓練更省、讓模型更聰明,理論本身沒有人要買,而過去十幾年深度學習的進展也沒靠多少新理論。所以「硬磨一長串隨機猜想」這件事,在機器學習裡值錢的程度遠高於在數學裡。

左右兩根堆疊柱,數學那根上層是大塊的「新概念」、下層是小塊的「磨猜想」;AI 實驗室那根剛好上下對調,呈現價值順序翻轉的形狀

他舉的例子是 Transformer,也就是撐起現在這批大型語言模型的那個架構。他的朋友 Sholto Douglas 有一篇永遠停在半完成狀態的部落格文章,主題是「你本來可以早兩年發明 Transformer」;他在節目裡還順手說,也許這支影片能逼對方把它寫完。2017 年那篇論文出來以前,注意力機制已經被不少研究者認出來,是讓訓練更好並行、讓資訊跨越更長序列的辦法。當時在場的研究者 Chris Olah 後來說,那個架構是許多本來就各自有效的想法的自然組合,只是被推到了激進的長度。缺的那一塊在組合:這個架構要贏過當時的最強水準,得先把半打額外的小調整接上去,而那些調整在文獻裡躺了好幾年,沒人知道怎麼拼。拼它需要研究品味,也需要海量的小實驗。

左側散落許多躺在文獻裡的小零件方塊,箭頭向右收攏成一個完整架構方塊,說明缺的不是零件而是把它們拼起來

所以他的推論是:如果 Chris Olah 當年手上有 Claude 7,叫它「認真去把注意力這件事弄好一點」,它做得出來。

那怎麼讓模型去練這種事?他把 AI 研發拆成三桶,每桶都掛得上便宜的分數。預訓練這桶最乾淨:留一份模型沒看過的語料來算誤差,好算又好比,你可以直接出題給 GPT-7,要它用更少的算力把一個 GPT-2 大小的模型訓到固定的誤差。後訓練這桶量「學得多快」:把模型丟進一個它沒訓練過的環境,看它多久摸清狀況、多久開始拿分。推論效率這桶最實在,GPU 使用率、每個詞佔多少快取,全都是數字。

三個並列的桶,每個桶上方掛著一支量尺,分別是預訓練的誤差、後訓練的上手速度、推論效率的使用率,呈現三桶都掛得上分數

最讓我意外的是他連「研究品味」都做成了題目:要 GPT-7 預測自己在一億參數規模做出來的改良,放到一百億參數還成不成立。這題貴,可是以前沿實驗室的算力來說跑得起。

最後是三個乘數。今天的模型做事約是人的十倍速,而自動研究員不睡覺也不放假,所以每個行事曆上的一週,它塞進去的工作量大約是人的五十倍。第二個乘數是水準:他估一家前沿實驗室八成的演算法進展來自最強的五十個研究員,扎克伯格願意開出數億美元搶人不是沒有道理,而在這個劇本裡每一個自動研究員都在那五十人的水準上。第三個是數量,而這裡他給了一個判準:一群代理寫不出更好的小說,可是形式化一個定理有上千個能各自獨立完成、各自在本地驗對錯的小塊,AI 研究離形式化定理比離寫小說近。

由左往右三段越來越大的方塊,分別是十倍速與不睡覺疊成的五十倍、前五十人的水準、上千個代理的數量,呈現乘數累積放大的形狀

他丟了一個小數字,我一直記著:2017 年那篇論文最後訓出來的模型,在八張 P100 上跑了三天,照今天的租用價算大約五十美元,約是 GPT-3 訓練算力的十萬分之一。

站到反面:被挑好的那座山,和挑山的那個人

最硬的一刀是他自己遞過來的。他說 AI 公司每年要把研發算力變成四倍、人力變成兩倍,才能維持同樣的進展速度。這條數字講的是想法變難找的速度,而且它已經在發生了——自我加速要贏,得贏過這個斜率,不是贏過零。

一張斜率圖,灰色那條是維持同樣進展所需投入的上升線,自我加速只有比它更陡才算贏,比較的基準不是水平的零線

他自己也承認這是一場硬幣:火花(一年裡擠出三到六年的進展,然後安靜下來等算力蓋好)與純軟體奇點(算力不增加,模型自己一輪一輪變聰明,幾個月內撞上晶片的物理上限)各給一半機率。一個把中位年份押在 2028 年的人,同時說自己對兩種結局五五對開。

上方一條對半分開的機率條,下方兩張曲線縮圖:火花是一段陡升後走平,純軟體奇點是連續上升直到撞上一條天花板

持續學習這條更值得盯。所謂持續學習,是模型上工以後把經驗留下來、隔天還記得。這是他過去一年半懷疑的主要理由,去年十二月他寫過:要它去解人類撞了半世紀的牆,同時又沒有小孩都有的學習能力,說不通。現在他改口的理由是把上下文學習放大就夠,不用等權重自己更新的大突破。這是一個待兌現的賭注。他的比喻很好——這些模型一邊側手翻一邊跟上了 Usain Bolt,要是讓它們好好跑會更快——可是這個比喻同時承認那條腿還綁著,而他給的新理由是「別人發表了很多有希望的想法」。

挑山的人也沒有被解決。2018 年以前沒有幾個人會說,把下一個詞的預測誤差壓低是通往 AI 最可行的路,所以也沒人會去建那種壓誤差的速跑環境。選哪座山給 GPT-7 爬,這件事本身就是研究工作。他的回答是 Transformer 當年也是為了打贏既有的翻譯基準而生,推理模型也是打既有的程式與數學基準,所以舊分數接得住大的跳躍。這個回答成立的前提是下一次範式轉移同樣能被舊分數看見,而這個前提沒有辦法先驗證。他另外給的那幾個與範式無關的外層指標——解掉幾個千禧年難題、只餵 1905 年以前的資料要多久推出廣義相對論——漂亮,可是這種題目一年出不了幾道,當訓練信號太稀疏。

他還親手留了一個反證在節目裡:OpenAI 沒有解散研究部門,而它手上那個模型照他的說法已經能自主解掉千禧年難題。他拿這件事來說明 AI 研究有些部分比數學更難驗證,而那些部分佔多大比重正是整個推論的關鍵,節目裡沒有給出這個數。數學這邊也一樣:進展偏在驗證成分重的那一側,Toby Ord 的觀察是目前很少有證據顯示這些系統能問出有力的問題、或開出新的研究領域。Dwarkesh 把同一句話改寫成「它在沒有這個能力的情況下解掉了千禧年難題」。兩句都對,用途不同,一句講天花板在哪,一句講地板已經多高,而他要的結論需要前者。

遷移這一段是我覺得最弱的。要從「可驗證的練習」長出「在真實世界裡摸索」的能力,他給的證據是你可以自己去跟新模型聊聊、拿它跟舊的比,加上拿破崙 27 歲就打贏歐洲列強的大軍、洛克菲勒 25 歲管著世界上最大的煉油廠之一。歷史上那些二十幾歲就贏的人,是從倖存者裡挑出來的;同一代有多少人用同樣的打法輸掉,名單不在任何書裡。

一個漏斗,上方灰色密點是同一代用同樣打法的人,只有底部兩三個點被標進書裡,灰色那一大塊標著名單不在任何書裡

演化造出通用學習者那個論證也有同樣的毛病:它跑了幾億年、死掉了不可計數的世代,用它來證明粗糙的驗證器能長出通用能力,順便把成本藏起來了。

實驗算力那一刀他擋得最用力。代理愈多,每個分到的算力愈少;他的答覆是前沿實驗室每年算力超過四倍,照這個趨勢,2027 年底 OpenAI 有可能讓一萬個代理每個每天跑得起一次 GPT-3 規模的訓練。這個答覆把一個軟體問題換成了一個要蓋廠、要電、要供應鏈的問題——換得過去,可是換過去之後,時程就不再由模型多聰明決定。

我的判斷:差在「下一座山能不能被便宜地標出來」

兩邊看完,我判斷他在「界線清楚的題目」這一段站得住,反面在「誰來挑下一座山」站得住,而兩邊的分界線可以寫成一句話:下一個範式能不能用一個便宜的分數提前標出來。能,火花那半邊的機率就往上走;不能,自動研究員會變成史上最強的爬坡工,站在一座別人挑的山上。

四象限圖,橫軸是能不能便宜對答案、縱軸是難度,右上角放千禧年難題,左側放持續學習與家庭財務決定,顯示難度與速度是兩個軸

這條分界線拿來讀新聞很好用,也回答了那個常被問到的問題——AI 的利多這麼多,我該信哪一個。把消息分兩堆:一堆的進展能用公司內部的分數驗(程式、數學、推論效率、每個詞的成本),這堆會被外推得快,估值也跑得比事實前面;另一堆要真實世界的回饋才長得出來(打官司、做生意、幫候選人贏選舉),它慢,而且慢在資料中心外面。看到一則消息,先問它落在哪一堆,再決定要不要調整部位。

一則消息分成兩條箭頭,上面那條短而快標示能用公司內部分數驗,下面那條長而慢標示要真實世界回饋,長度差就是外推速度差

另一個被問到更多次的是:我這一行會不會被接走。這集給的判準不講學歷也不講年資,它問你的產出有沒有一個便宜的對答案方式。寫一段能跑單元測試的程式,有;替一個家庭做下一步的財務決定,沒有,答案要三年後才揭曉。這個判準我拿來看過自己做的事,有些段落的答案不好看。

最後那個五五對開的硬幣本身就是訊息:連提出這套推論的人都對兩種結局各給一半機率,那麼靠一邊下注的部位,就該小到猜錯也活得下去。

可以參考的資料

  • 《Dwarkesh Podcast》2026 年 11 月 13 日〈The avalanche that hit math is coming for AI development〉,本文的來源
  • METR 在 Anthropic 駐點三個月後公開的評測結論,節目中兩倍進展速度與多數加速來自內部用 AI 的說法出自這裡
  • Anthropic 與 OpenAI 於 2026 年 9 月各自發布的內部 AI 使用貼文,26%、不到 1%、每日用量從約 1,000 美元到超過 7,000 美元出自這兩篇
  • Toby Ord 近期關於 AI 與數學研究的文章,節目中「很少證據顯示能問出有力問題」那句引用自此
  • Ajeya Cotra 針對 METR 報告寫的部落格,節目中「照面值接受就天真推出一年內達到極端超智慧」出自此,Dwarkesh 自己沒有採用這個推法
  • DeepSeek 最近一篇關於後訓練的論文,節目引述其中「合成資料與環境的規模、多樣性與可驗證性解釋了觀察到的絕大部分增益」

帶得走的一件事

進步的速度,由「能不能便宜地對答案」決定,不由題目有多難決定。

這集每條線都繞回這一處。數學雪崩崩在能驗的那一側;AI 研究被他看好,因為三桶工作都掛得上分數;他留下的 25% 尾巴,全押在那些沒有分數可打的部分。難度與速度在這裡是兩個軸——千禧年難題被 88 小時解掉的同一個月,一個「上工以後記得昨天發生什麼」的能力還沒有人做出來。

我自己試過的一個做法,跟投資沒關係也成立。挑一件卡了三個月以上的事:睡不好、吉他彈不順、跟家人之間那個每隔幾週就重演一次的爭執都算。別急著想原因,先寫一句「今天晚上就能對答案的檢查」——把「我要早點睡」換成「十一點把手機放到客廳,明天早上起來記一行昨晚幾點睡著」,把「我要跟他好好溝通」換成「今天只問一個問題,不給建議,記下他講了幾分鐘」。寫完就去做那一次,明天就有一個數字可以看。你會發現卡住的事情裡,有一半卡在沒有對答案的辦法,不卡在難。

本文為投資方法論的教育性分享,不構成任何個股買賣建議、不提供目標價、不針對當期標的。投資有風險,任何決策請自行判斷或諮詢合格的專業人士。

留言

載入留言中…

送出前需用 Google 登入,只顯示你的名字與頭像