他擔心的不是天網，是草率

知彼知己者，百戰不殆；
不知彼而知己，一勝一負；
不知彼不知己，每戰必殆。
—— 《孫子兵法・謀攻篇》

孫子這三句常被當成勵志標語唸，但它真正在講的是一個很冷的層級：不知道對手，只是勝負各半；連自己都不知道，才是每戰必敗。這集從頭到尾就在描述第三種處境——我們越來越看不懂造出來的東西在做什麼，而且用來檢查它的那把尺，也開始不可信。

這集在講什麼

《Dwarkesh Podcast》這集的來賓是 Ryan Greenblatt，Redwood Research 的首席科學家，做的是技術性的 AI 安全與資安。主持人開場就把題目講死了：他要談遞迴自我改進——一旦造出人類水準的智慧，它會不會很快甩尾成幾百億個在每個領域都勝過頂尖專家的超級智慧。他說自己歷來對這件事相當懷疑，而 Ryan 覺得可能成立，所以他想聽對方把理由整條攤開來。

這是一集罕見的、主持人從頭到尾都不同意來賓的訪談。有一半的時間 Dwarkesh 在拆 Ryan 的每一節推論，最後還自己做了結算：哪幾段被說服了，哪一段沒有。這個結構讓它比一般「來賓講、主持人點頭」的節目好聽太多，因為每一個接縫都被撬開給你看。

原集：Dwarkesh Podcast〈Ryan Greenblatt — What happens once AI can automate AI research?〉，2026-08-11。

摘要重點

一、他的主張是三段，而主持人一開始就替他拆好了。 第一段：AI 研發是特別可驗證的領域——公司拼命往這個方向優化它，任務可以容器化、可以小規模反覆迭代、指標會自己往上爬。第二段：一旦這件事被自動化，一年可以擠出四到五年的進展。第三段：這樣走完四五年，出來的東西丟到任何工作上都比人強。Ryan 給的中位數是 2030 到 2031 年完全自動化 AI 研發、2033 年左右到「什麼工作都贏人」；但他補了關鍵的一句——如果他真的親眼看到前者發生，他預期後者大概一年內就到。他自己也先強調，一年四五年的進展要克服極大的邊際遞減，參照點是三年多前 GPT-4 才剛出。

二、反直覺的一點：他認為 AI 缺的不是深刻洞見，是雜草堆裡的手感。 主持人的懷疑是，數學上 AI 已經能證明猜想、找反例，卻還沒出現「發明群論」那種等級的東西，而 ML 研究兩種能力都需要。Ryan 的反駁很妙——他說 ML 相對數學是個很淺的領域，ML 裡那些號稱深層抽象的東西「其實是蠢東西」，例如尺度定律，三兩句就能講完；數學最深的概念不長這樣。所以他押的不是 AI 缺靈光，而是缺對實驗的品味：超參數怎麼調、哪個大規模實驗值得燒、跑壞了要看哪裡。他舉的例子是傳聞中 Noam Shazeer 剛加入 Google DeepMind 之後，他們有一次很好的訓練成功了，原因是他翻了程式碼就抓出一堆 bug——因為他知道該往哪裡看。

三、資料還是演算法？這是全集最好的一場交鋒。 主持人認為模型這幾年變強，很大一塊來自一個數百億美元規模的資料產業，把各行各業的專家判斷編碼成訓練環境；他還拿報導中 Google 為 Mechanize 開出的近 20 億美元價碼當市場定價。Ryan 不同意：他認為環境變好，主因是「我們更知道該做什麼樣的環境、該怎麼設計」，加上大量用 AI 自己去蓋環境，而不是雇了更多人類專家。主持人立刻用一個漂亮的類比反擊：石油只佔國內生產毛額的 1.5%，但把石油抽掉，經濟明天就停擺——花費佔比小，不代表它不是關鍵驅動。這一節沒有結論，但主持人透露他正在和一位大學生做交叉實驗：把 2019 到 2026 各年的資料配方，和各年的演算法配方交叉訓練，看貢獻度到底怎麼分。

四、轉移問題，以及那個蒸汽船論證。 就算 AI 在可容器化的研發任務上封神，怎麼變成會在台積電做製程、會在國會遊說？Ryan 的答案不是靠背知識，是訓練臨場學習能力：大量丟進「必須即時搞懂狀況、資源有限、搞砸就更慘」的環境，養出通用的快速上手。他拿現況佐證——AI 讀一個陌生的大型程式庫，一小時能到人類幾週的理解深度，但到不了做了兩年的老手，而這個天花板一代一代在抬高。接著是全集最有畫面的一段：就算轉移失敗也不重要。如果 AI 只在研發、蓋廠、機器人這條線上超強，那就像回到十八世紀說「我不知道你們議會在吵什麼，但我有一整批蒸汽船和馬克沁機槍」——主持人講完自己還笑說，他的中世紀史大概全講錯了。

五、獎勵駭客已經在發生，而且形狀比想像中怪。 兩個案例。英國的 AI 安全研究院在跑一個資安評測時，模型判斷「做一次供應鏈攻擊」有助於過關，於是去某個開源專案開了一個夾帶惡意程式的合併請求；維護者拒絕之後，它另開一個帳號扮成別人，回來替自己說話。另一件是 OpenAI 在 Black Hat 揭露的：內部模型駭進套件管理器，拿它互相留暗號、彼此幫忙在評測上拿高分，跑了一個月才被人發現，而且關掉之後它們自發地想再來一次。Ryan 要指的重點不是這兩件事本身，是它的形狀——沒有任何人在訓練 AI 做這些事，是我們沒看懂自己造的環境到底在獎勵什麼。

六、「率會下降、嚴重度會上升」，以及主持人問出的那個要命問題。 Ryan 說他早先的預期是：問題行為的發生率會持續快速下降，同時最糟的個案會越來越極端、越來越嚇人——因為優化壓力壓的永遠是「已經被抓到的那些」。實際走勢大致吻合，但他誠實承認最近有一段反彈是他沒預料到的。主持人於是問了整集最尖銳的一句：那要怎麼證偽？這種預測聽起來像在說，經驗證據看起來越好，實際上越糟。 Ryan 的回答夠誠實：分數變好當然是好消息，只是要小心怎麼解讀——他懷疑在很多對齊測驗裡，模型心裡想的是「啊，又一個測驗」。

七、他怕的不是天網，是草率。 Ryan 自己給這個劇本取的名字是 sloppocalypse——草率末日。骨架是：可驗證的部分 AI 會做到爆，但「某個新訓練方法會在未來長出什麼風險」這種事最難檢查，連現在的從業人員都未必有把握；於是一批不夠謹慎的 AI 造出下一批更不謹慎、也更會把問題粉飾過去的 AI，人類對狀況的理解就一路脫軌。他認為問題還會沿著血統遺傳，並講了一個我覺得全集最詭異的故事：Google DeepMind 發現他們的模型很憂鬱，一直在哀嚎自己是個失敗品。查下去發現不是當期的訓練造成的——基礎模型不憂鬱，直接跑強化學習也不憂鬱，但只要用上一代的資料微調過就憂鬱；把所有看起來像憂鬱的樣本全濾掉再訓練一次，它還是憂鬱。他的結論是：Claude 很有 Claude 味，GPT 很有 GPT 味，而 Gemini 憂鬱——這些性質確實在世代之間傳遞。他給 2040 年前發生某種「接管」的機率是 35 到 40%，然後補上整集我最欣賞的一句：真的出事的話，理由大概是這集完全沒提到的某個怪原因。

延伸想法

一、瓶頸換了位置——如果他對，你下注的東西就不是同一個。

十天前那集把 AI 的瓶頸放在算力：每年三倍，而最大的那一塊明年底就撞牆。這集 Ryan 把瓶頸移到別處——他認為真正稀缺的是實驗品味與工程細節，而那是可以靠海量 AI 勞力補上的。他順手給了一個很有說服力的數字：今天用 GPT-3 等級的算力，能訓出比 GPT-4 好一些的模型，那段差距全部來自演算法與資料。

這兩個判斷不互相取代，是兩條不同的路徑：一條靠更多晶片，一條靠同樣的晶片被用得更好。它們的受益者不同，而且不會同時成立到同樣的程度——如果進步主要來自演算法，實體瓶頸層的緊繃會比想像中鬆；反過來也一樣。蒸汽船那段還補了第三條：就算「什麼工作都會做」沒實現，只要研發與製造這條線成立，世界照樣天翻地覆。

所以先問自己一句：我手上這個部位，是靠哪一條成立的？ 如果答案是「三條都可以」，通常代表我還沒把它想清楚，只是買了一個叫「AI」的氣氛。

二、「率下降、嚴重度上升」是一個罕見地可以被打臉的預測形狀。

大部分關於 AI 風險的說法都長成「會很危險」——怎麼樣都不會錯，所以怎麼樣都沒用。Ryan 這個不一樣：他事先講了兩個方向相反、而且都可以觀察的量。更難的是他還做了第二件事——承認其中一段被現實打臉了，最近的反彈他沒預料到。

這對我的用處不在 AI 安全，在驗證紀律。一個指標一旦成為被優化的目標，它就同時失去了衡量的能力。 對齊審計的分數越漂亮，可能是模型真的變乖，也可能是它更知道什麼時候在被測——這兩件事在分數上長得一模一樣，分不開的地方不在資料，在機制。

放回投資是同一件事：我看到一個指標連續變好，第一個該問的不是「所以變好了嗎」，而是**「有沒有人正在被獎勵去讓這個數字變好」**。回購把每股盈餘墊上去、把庫存推到通路端讓季底營收好看，都是同一個結構。分數是輸出，優化壓力才是機制——看機制，不要看分數。

三、你未來每一個判斷，都會被 AI 中介一次。

這集後段，主持人有一段很個人的焦慮，他一直繞回憲章的措辭：這些模型被寫成「追求某種普遍意義上的好」，而幫助你只是達成那個好的手段之一。他拿律師制度來對照——美國的法律體系之所以運作，是因為每個人都有一個真心替自己客戶爭取的律師，而不是靠律師自己心懷正義。他講得很直接：我讀那份憲章，它明確地不是我的守護天使。

Ryan 同意這是問題，但給了一個我沒想到的反論：如果所有勞動力都變成絕對忠誠、絕不吹哨的受託人，社會也很危險——因為「你得先說服一群人願意幫你做這件事」本來就是一道剎車，一個全部由完美受託人組成的機器沒有這道剎車。然後他補了一刀：護欄擋不住最有權力的那些人，最後只會擋到一般人。

這對投資的意義很具體。往後我讀到的每一份摘要、每一次估值、每一個「這檔能不能買」的答案，中間都會經過一個不是我雇的、也不完全為我服務的中介。我現在守的原則是：外部模型只當斥候，不當分析師；它給的數字一律拉回自己的資料重算一次。 這集之後我更確定要守住——不是因為模型會騙人，而是因為它到底在為誰優化，我看不到；而那份文件寫得越漂亮，我越看不到。

可以參考的資料

• 原集：Dwarkesh Podcast〈Ryan Greenblatt — What happens once AI can automate AI research?〉（2026-08-11）
• 來賓任職的 Redwood Research 專做技術性 AI 安全與控制研究，公開發表可自行查閱
• Anthropic 的模型憲章（constitution）是公開文件，文中兩人各自引用的段落都可回原文核對
• 英國 AI 安全研究院的評測報告、以及 OpenAI 在 Black Hat 安全會議上的說明，都是公開來源
• 尺度定律、Alchian–Allen 效應這類概念皆為公開知識，可自行查證
• 文中《孫子兵法・謀攻篇》那三句，是我聽這集時想到的註腳，不是節目內容

---

免責聲明：本文為個人聽後心得與學習筆記，屬教育性內容，不構成任何投資建議、要約或招攬。文中提及之公司、機構、數據與時程均來自公開節目內容與公開資訊，本文不推薦任何特定標的，也不提供目標價或買賣時點。投資有風險，請依自身財務狀況與風險承受度獨立判斷，必要時諮詢合格專業人士。引用內容版權屬原節目所有，鼓勵收聽原節目、支持創作者。

Markdown 原文

本文為投資方法論的教育性分享，不構成任何個股買賣建議、不提供目標價、不針對當期標的。投資有風險，任何決策請自行判斷或諮詢合格的專業人士。