tech

本地大模型要買卡還是租卡?RunPod 一小時 24 元台幣,我實際跑過之後怎麼想

昨天我第一次在 RunPod 租雲端 GPU 跑一個小批次任務:一張 4090 每小時約 24 元台幣、按秒計費,四輪嘗試、567 秒 GPU 時間,帳單三塊四。這篇把「租」和「買」兩條路的形狀攤開來比:什麼時候租划算、什麼時候該買,還有本地端開發常見的幾種應用——文件向量索引、截圖批次判讀、本地模型當 agent 腦袋、微調、生圖生影片——各自該租還是該買。程式實作及測試由好友 Fred 協同開發。

  • RunPod
  • 雲端 GPU
  • 本地 AI
  • 向量搜尋
  • Ollama
  • Qwen3.8 27B
  • Gemma 4
  • ComfyUI
  • 決策思考

立體主義油畫封面:夜裡一張小書桌,左邊是樸素的電腦和一盞暖燈,右邊的大窗外是一座遙遠、發著冷藍光的機房,一條細細的線從桌上拉出窗外,伸向那排機櫃

臨河而羨魚,不如歸家織網。
—— 《淮南子・說林訓》(西漢,約西元前 139 年)

這篇在講什麼

我一直有一個小困擾:本地端很多好玩的應用都需要一張像樣的顯示卡,而我這台機器沒有。上個月我用處理器硬跑過一次批次任務,跑得比實際時間還慢,結論是先用雲端服務,把買卡的錢省下來。

昨天(2026-08-31)我把另一條路走通了:不買卡,按秒租一張。平台是 RunPod,租機流程是朋友 Fred 幫我跑通的。這篇想跟你分享實際跑完之後我怎麼看「租」和「買」,還有本地端開發常見的幾種應用,各自該租還是該買。

先說結論:這不是效能之爭,是用量之爭。

先講昨天的數字

一個小批次任務,四輪嘗試(前三輪在踩坑,後面會講),第四輪順利跑完。四輪加起來用了 567 秒的 GPU 時間,帳單約 3.4 元台幣(RunPod 儀表板,2026-08-31)。換算成每小時,安全雲的 4090 是 0.74 美元,約 24 元台幣;社群雲更便宜,0.34 美元,約 11 元。帳戶裡本來儲值了 15 美元,這樣算下來夠我跑幾百次。

一根長長的橫條代表一張顯示卡的價錢,旁邊一小截幾乎看不見的短條代表昨天那一次的三塊四;短條上方標著「一次」,長條下方標著「約四千一百次」

租和買,兩條路各自的形狀

我把兩邊的成本攤開來比(價格來自 RunPod 官方定價頁,2026-09-01 查;顯示卡用一張 4090 級別的卡約 1,400 美元估):

先講前期:租,儲值幾美元就能開始;買,一萬多人民幣一次付清。

再講計費:租是按秒算,跑完把機器砍掉就不再扣錢;買的話錢不是付給誰,是電費、折舊,還有它佔掉你桌面的那塊地方。以 4090 這張卡來說,租一小時 0.34 美元(社群雲)到 0.74 美元(安全雲),買回家之後每小時的折舊要看你跑幾小時才算得出來。

然後是等待:租的機器每次開機要等一到三分鐘,偶爾連不上要換一台;自己的卡隨開隨用。

斷線那天:平台掛了,租的人就停工;自己的機器跟網路無關。

最後一個差別最有趣:租的話 H100、B200 這種你買不起的機器也租得到;買的話,買不起,也用不到。

用 4090 社群雲的價格算:一萬多人民幣可以租大約 4,100 小時。如果你每天跑兩小時,要五年多才追平;每天跑八小時,一年半。五年後的顯示卡是什麼樣子,我們都知道。

兩條線從左往右:一條水平的粗線代表買卡一次付清的固定成本,一條從零出發的斜線代表租用累積的費用;兩線交叉點標著「約四千小時」,交叉點左邊寫租划算、右邊寫買划算

所以問題從來不是「哪個便宜」,是「你在交叉點的哪一邊」。我自己一個月跑不了幾次,離交叉點很遠,租是明顯的答案。每天跑十幾小時、還要生圖生影片的人,在另一邊。

上個月寫本地硬體那篇時,我把買卡講成一份保險:保的是「別人漲價和斷線的時候,我還能動」。這句話今天還成立,只是要補一句:保險要看你有多常需要它。一年遇不到一次斷線的人,付五年保費不划算。

RunPod 可以拿來做什麼

我這次只用了它最單純的一種用法:開一台機器、跑一個腳本、砍掉機器。它其實有幾種形狀,適合不同的活:

一、一次性的批次工作。把一整批文件跑一次同樣的處理、把一批舊照片一次放大、把幾千張截圖一次判讀。開機、跑完、砍掉,只付那幾分鐘。這是我認為最沒有懸念的用法:Pods 定價頁

二、試一張你買不起的卡。想知道某個模型在 H100 上跑起來是什麼感覺,租一小時兩三美元,比看評測影片實在。

三、微調模型。訓練型的活通常是幾小時到幾天,跑完就結束,正是「租」的形狀。RunPod 的容器可以自己帶環境,訓練完把權重下載回來就好。

四、Serverless 端點。如果你有一個服務偶爾被打到(例如一個小工具的後端),可以把模型部署成按呼叫計費的端點,沒人用的時候不付錢。這條我沒實跑,只讀了文件:Serverless 說明

五、生圖生影片。各家生圖服務的 API 是按張按秒數計價,量一大很快就擋不住;直接租一張卡跑開源模型是另一回事,按秒計費、跑多少算多少。我還沒試,先記在這裡。

工具文件與教學都在官方文件站:docs.runpod.io

一張二乘二的格子,橫軸是「偶爾跑/每天跑」,縱軸是「跑完就結束/要一直開著」;左上格塗成深色標「租」,右下格標「買」,另外兩格是淡色的中間地帶

本地端常見的幾種應用,哪些適合租、哪些適合買

把我這陣子自己在碰的幾種應用排一排,用同一把尺看:它是「跑完就結束」還是「要一直開著」。

私人文件的向量索引。把自己的筆記、報告、文章全部算成向量,之後用一句話就能搜到相關段落。我每天都在做這件事,今天用處理器重算 1,600 多段,跑了半小時;換成租一張卡,幾分鐘就完,跑完就砍。這是「租」最典型的形狀:偶爾重算一次、算完就結束。常用的模型像 EmbeddingGemma、BGE 這一類,都很小。

截圖與圖片的批次判讀。幾千張手機截圖、對話裡的圖片,要一次看完、抽出裡面的數字和文字。批次做,租;如果是每天新進幾百張要即時處理,那就要一直開著,看量再決定。以圖搜圖的模型像 SigLIP、CLIP,本地都跑得動。

本地模型當 agent 的腦袋。Qwen3.8 27B、Gemma 4 26B 這種通用模型,Ollama 一行就能拉下來。如果它每天都在替你跑長任務、寫程式、整理東西,那是「要一直開著」的形狀,買卡;只是想試試手感,租一小時就夠了。

微調自己的小模型。訓練幾小時到幾天,跑完就結束,正是「租」的形狀。RunPod 的容器可以自己帶環境,訓練完把權重下載回來就好。

生圖生影片。ComfyUI 配 Stable Diffusion、Flux、LTX、MiniMax H3 這一類模型,批次出片就租一張 48G 的卡;每天都在出片的人,買。

線上模型不在這張表裡。DeepSeek V4 Flash 這種便宜又全能的線上模型,不用租也不用買,走 API 就好。

規則只有一條:要一直開著、每天都在用的東西才值得買;跑完就結束的活,租。模型名字不重要,用量才重要。

我踩到的三個坑

寫出來是因為 RunPod 的官方文件都沒提,你照著裝完不代表能跑。

第一,錯誤訊息會指錯兇手。腳本告訴我「SSH 公鑰無效」,還附上正確的檔案路徑。金鑰其實完全沒問題——真正的原因是我機器上沒裝 jq 這個小工具,驗證那段程式一跑就整條回非零,於是每一把金鑰都會被判無效。教訓是:錯誤訊息點名誰,先獨立驗誰,再去看產生那句話的程式依賴什麼。

第二,直連的網路端口大約一半機率生不出來。這不是壞掉,是 RunPod 社群雲的常態;Fred 的腳本會等 180 秒後自動換一台,最多試三次。我前三輪有兩輪就是在等這個。

第三,跑完一定要確認機器砍掉了。沒砍就是一直在計費。我每輪都回去 RunPod 網站看 Pods 頁面是不是空的,四輪都是空的。這個習慣比任何省錢技巧都重要。

還有一個 Windows 專屬的坑:Git Bash 會把 /root/... 這種路徑自動改成 Windows 路徑,SSH 過去的指令就壞了。解法是只排除那一個前綴,不能整個關掉路徑轉換,關掉會害本機的其他工具找不到檔。這一條 Fred 已經收進工具的說明。

本文協助者:Fred

這篇能寫出來,程式實作及測試都是好友 Fred 協同開發的。開機、連線、把任務丟上去、跑完自動砍機、連不上自動換一台——這整套 RunPod 的租機流程是他寫成腳本、先在他那邊跑通的;我在 Windows 上遇到的坑,也都是回頭補進他的說明裡。如果你也想把 RunPod 接進自己的工作流,推薦看他的 GitHub:github.com/fredchu,不用從零開始。

一句誠實的話:同一個任務,雲端和本地跑出來的結果不是完全一樣的,Fred 量過,差約百分之二,而且不知道哪邊比較對。這個差異穩定存在,不是雜訊。要用雲端請先知道這件事。

可以參考的資料

  • RunPod 定價頁:runpod.io/pricing(文中價格 2026-09-01 查,社群雲與安全雲分開列)
  • RunPod 文件:docs.runpod.io
  • Fred 的 GitHub:github.com/fredchu
  • 我上一篇談本地硬體:〈本地模型 Qwen3.8 27B 適合你嗎?〉(2026-08-21),本篇是它的「租」那一半
  • 昨天實跑的數字:RunPod 儀表板,2026-08-31;處理器硬跑的對照:2026-08-09 與 2026-09-01 自己的紀錄
  • 開頭那句出自《淮南子》,是我看到帳單想到的:這次不用織網,河邊就有人出租漁網

帶得走的一件事

我看完帳單留下的一句話是:租和買不是選便宜的,是看你在交叉點的哪一邊。我自己是因為算出「五年多才追平」,才放下了買一張卡的念頭。

如果你也在猶豫,我做過一個很小的動作,你可以試試:今晚翻出你上個月真正需要顯示卡的次數——不是想做的,是真的做了的——寫一個數字在紙上,旁邊寫上每次大概幾小時。兩個數字相乘,就是你一個月的用量。寫完就算完成。

如果想再往前一步,拿那個小時數乘上 0.34 美元,跟一張卡的價錢並排看一眼。

後半篇在方格子

這篇的完整內容放在方格子,點過去就能接著讀完,不用付費。 訂閱沙龍也是免費的,之後有新文章會直接通知你。