tech

本地模型 Qwen3.8 27B 適合你嗎?

看完兩位 YouTuber 三支硬體實測影片後的綜合心得。從一次回本計算出發,拆解在自己家裡跑大模型的三個真實成本,以及怎麼判斷這件事適不適合你。工具選擇的思考練習,非採購建議。

  • hardware
  • decision-making
  • local-ai

夕照斜穿古老巨木林,一隻褐色小鷦鷯安穩停在一根細枝上,身後是望不到邊的樹冠

鷦鷯巢於深林,不過一枝;偃鼠飲河,不過滿腹。 —— 《莊子・逍遙遊》(約公元前 300 年)

這幾天看了兩位 YouTuber 的三支硬體實測影片,主題都繞著同一件事:把大模型搬回自己家裡跑,值不值得。

先說那個很吸引人的結論

掄錘者在 8 月 21 日實測了 Qwen3.8 27B 在自己機器上跑的表現。他的說法很直接:「現在 Qwen 27B 就是這個黃金標準。」

更關鍵的是這句——即使是壓縮過的版本,「它的能力跟 DeepSeek V4 Pro 也是處於同一個水平了」。

而且怎麼壓縮好像都不太影響體感。Q4、Q5、FP8 三種壓法他都試過,上下文開到 256K 或 128K 也試過,結論是「我個人感覺都是夠用的」。

如果這是真的,那確實誘人:一個能力接近付費雲端服務的模型,跑在你自己的機器上,不用連網、不用擔心漲價、資料不出門。

他的建議是買兩張 7900 XTX 顯示卡,一張跑文字、一張跑影片。

然後我算了一下

他影片裡有兩個數字,分開看都沒什麼,放在一起就很有意思。

第一個:雲端服務漲價以前,他每天大約花一到兩元人民幣;現在做同樣的少量工作,每天五到六元。有一天他只是設定了一次腳本,花掉八元。

第二個:他建議的那兩張卡,稿上的價格是一萬多元人民幣。

每天六元,一個月大概一百八十元。用兩張卡的錢去換這筆省下來的錢,回本要五年多。

顯示卡五年後是什麼樣子,我們都知道。

所以他買的不是效能,也不是省錢。他自己在影片裡講得很清楚:漲價是突然發生的,而且雲端服務癱瘓過將近一小時。他買的是一份保險,保的是「別人漲價和斷線的時候,我還能動」。

保險本來就不看回本。它看的是斷掉那天你有多痛。

第三個成本,最容易被漏掉

錢和電之外還有一個成本,掄錘者在講雙顯示卡的那支影片裡說得最實在:「只要你想辦法協同,你就要面臨無盡的折騰。」

他實測兩張卡一起跑的效果大約是一加一等於一點七。

那消失的零點三,就是你的週末。

同一支影片裡還有幾件事,如果你真的要動手,值得先知道:外接顯示卡盒不划算,雷電五的盒子單價比一整台二手伺服器還貴,而且新卡會跟你原本的電腦搶記憶體;比較舊的主機(PCIe 3.0)不要嘗試讓兩張卡協同運算,效率不夠。

同一件事,另一位是從別的角度看的

小天fotos 在同一天測了一台叫零刻 SEi13 AI 的迷你主機,他的結論是值得買。

乍看跟掄錘者相反——掄錘者說過「我一般是不推薦大家去買什麼小主機的」,而那正是小天推薦的東西。

但他們在回答不同的問題,這是我看完三支影片最有收穫的一點。

小天量的是能不能一直開著。他反覆講的是十幾瓦的功耗、40 度的溫度、風扇很安靜。他舉的最有力的例子是語音辨識:一小時的錄音兩分半鐘就轉完。

掄錘者量的是算得快不快。他說小主機的算力大概只有 4060 這個等級,記憶體頻寬小很多,跑起來「非常的慢,非常的難受」。

同一台機器,一個及格,一個不及格。前者問的是「它能不能便宜地一直待命」,後者問的是「我按下去要等多久」。

四象限圖:橫軸是按下去願意等多久,縱軸是要不要一直開著。省電小主機落在左上,獨立顯示卡落在右下,兩種需求各自對應不同象限;左下「偶爾用也不趕」這一格最多人在,卻沒有評測在談

我自己試過一次

這個月初我在自己的電腦上試過跑本地的語音辨識,想看看能不能不依賴雲端服務。

那台電腦沒有獨立顯示卡,靠處理器硬跑。一段十分半鐘的錄音,跑了十八分半。比錄音本身還久。

而且它把技術名詞聽錯得很離譜——GGUF 聽成 GDUF,HuggingFace 聽成 HackingFast。同樣的音檔丟給雲端服務,時間短很多,名詞也對得上。

結論很簡單:以我現在的用量,買硬體會買了用不上。

這句話有邊界。它不是說本地跑 AI 沒用,是說我一個月只轉幾次錄音,這個量撐不起一台專門的機器。掄錘者的前提是每天都在跑,小天的前提是整天掛著在收東西。前提換了,答案就換了。

所以,適合你嗎

三支影片都在很認真地回答「怎麼配」。這不是他們的問題——會點進硬體評測的人,通常已經決定要買了。

但如果你還在猶豫的階段,「怎麼配」是一個假問題。它會把你帶進規格比較的迷宮:顯示卡幾 G、介面幾倍速、要不要兩張卡。每一題都有清楚的答案,每一題都很有趣,而沒有一題能告訴你該不該買。

真正決定答案的是三件重要的事。

第一,你每天實際會用多久。不是「有了以後可能會用多少」,是你上個月真的用了多少。

第二,斷掉的那天你損失什麼。如果答案是「等一小時再做」,那你買的保險保費太高了。

第三,你有多少時間可以拿去折騰。這件事沒有裝好就結束這回事。

三題都是明確的「很多」,Qwen3.8 27B 這條路值得走,掄錘者的配置建議可以直接參考。有一題答不上來,先用雲端服務,把錢省下來等下一代顯示卡。

帶得走的一件事

規格參數會回答你提出的問題,但不會告訴你這個問題該不該問。

練習:你最近想買的那樣東西——不限於電腦,可以是課程、器材、訂閱服務——先不要比較規格。拿一張紙,只寫兩個數字:你上個月為這件事花了多少錢或多少時間,以及沒有它的那天你實際損失了什麼。

如果第二個數字寫不出來,你買的就不是工具,是安心。

安心也可以買。但知道自己在買什麼,價格會突然變得很清楚。