本地模型 Qwen3.8 27B 適合你嗎？
🎧 收聽這篇7:32
看完兩位 YouTuber 三支硬體實測影片後的綜合心得。從一次回本計算出發，拆解在自己家裡跑大模型的三個真實成本，以及怎麼判斷這件事適不適合你。工具選擇的思考練習，非採購建議。
鷦鷯巢於深林，不過一枝；偃鼠飲河，不過滿腹。 —— 《莊子・逍遙遊》（約公元前 300 年）
這幾天看了兩位 YouTuber 的三支硬體實測影片，主題都繞著同一件事：把大模型搬回自己家裡跑，值不值得。
先說那個很吸引人的結論
掄錘者在 8 月 21 日實測了 Qwen3.8 27B 在自己機器上跑的表現。他的說法很直接：「現在 Qwen 27B 就是這個黃金標準。」
更關鍵的是這句——即使是壓縮過的版本，「它的能力跟 DeepSeek V4 Pro 也是處於同一個水平了」。
而且怎麼壓縮好像都不太影響體感。Q4、Q5、FP8 三種壓法他都試過，上下文開到 256K 或 128K 也試過，結論是「我個人感覺都是夠用的」。
如果這是真的，那確實誘人：一個能力接近付費雲端服務的模型，跑在你自己的機器上，不用連網、不用擔心漲價、資料不出門。
他的建議是買兩張 7900 XTX 顯示卡，一張跑文字、一張跑影片。
壓縮版本那麼多，你的卡決定你能選哪一個
上面那句「Q4、Q5、FP8 都夠用」跳過了一個前提，而那個前提是買卡前最該先搞懂的。
模型是一包參數，你可以想成一本超厚的字典。跑它的時候，這本字典要整本攤開放在顯示卡自己的記憶體裡——那塊記憶體跟你電腦的記憶體是分開的兩件事。字典放不進去就跑不起來，跟你的卡多快沒有關係。
所以第一道門檻是容量。一張 24 GB 的卡，能放的就是 24 GB 以內的東西。
那為什麼有人說 8 GB 也跑得動兩百多億參數的模型？靠壓縮，行話叫量化。原本每個參數用十六位元記錄，壓成四位元、三位元，甚至兩位元。同一顆模型因此有一整排版本，官方放出來的就有二十一個，從九 GB 到五十幾 GB 都有。
壓縮要付代價。壓得越狠，模型講話越容易出錯、越容易忘記前面講過什麼。掄錘者說 Q4、Q5、FP8 體感差不多，這句話成立，因為那三種都算溫和；再往下壓到兩位元，差別就出來了。
粗略對應是這樣：8 到 12 GB 的卡只能選壓最狠的那幾檔；16 GB 開始有像樣的選擇；24 GB 能吃到十七、十八 GB 那一檔，品質跟檔案大小的性價比在這裡最好；三十二 GB 以上才輪得到壓縮幅度小的版本。
所以順序是：先確定你要跑哪一顆模型、要哪個壓縮版本，再回頭挑卡。反過來做，你會買到一張跑不動你真正想用的東西的卡。
然後我算了一下
他影片裡有兩個數字，分開看都沒什麼，放在一起就很有意思。
第一個：雲端服務漲價以前，他每天大約花一到兩元人民幣；現在做同樣的少量工作，每天五到六元。有一天他只是設定了一次腳本，花掉八元。
第二個：他建議的那兩張卡，稿上的價格是一萬多元人民幣。
每天六元，一個月大概一百八十元。用兩張卡的錢去換這筆省下來的錢，回本要五年多。
顯示卡五年後是什麼樣子，我們都知道。
他自己在影片裡講得很清楚：漲價是突然發生的，而且雲端服務癱瘓過將近一小時。他買的是一份保險，保的是「別人漲價和斷線的時候，我還能動」。
它看的是斷掉那天你有多痛。
第三個成本，最容易被漏掉
錢和電之外還有一個成本，掄錘者在講雙顯示卡的那支影片裡說得最實在：「只要你想辦法協同，你就要面臨無盡的折騰。」
他實測兩張卡一起跑的效果大約是一加一等於一點七。
那消失的零點三，就是你的週末。
同一支影片裡還有幾件事，如果你真的要動手，值得先知道：外接顯示卡盒不划算，雷電五的盒子單價比一整台二手伺服器還貴，而且新卡會跟你原本的電腦搶記憶體；比較舊的主機（PCIe 3.0）不要嘗試讓兩張卡協同運算，效率不夠。
同一件事，另一位是從別的角度看的
小天fotos 在同一天測了一台叫零刻 SEi13 AI 的迷你主機，他的結論是值得買。
乍看跟掄錘者相反——掄錘者說過「我一般是不推薦大家去買什麼小主機的」，而那正是小天推薦的東西。
但他們在回答不同的問題。
小天量的是能不能一直開著。他反覆講的是十幾瓦的功耗、40 度的溫度、風扇很安靜。他舉的最有力的例子是語音辨識：一小時的錄音兩分半鐘就轉完。
掄錘者量的是算得快不快。他說小主機的算力大概只有 4060 這個等級，記憶體頻寬小很多，跑起來「非常的慢，非常的難受」。
同一台機器，一個及格，一個不及格。前者問的是「它能不能便宜地一直待命」，後者問的是「我按下去要等多久」。
我自己試過一次
這個月初我在自己的電腦上試過跑本地的語音辨識，想看看能不能不依賴雲端服務。
那台電腦沒有獨立顯示卡，靠處理器硬跑。一段十分半鐘的錄音，跑了十八分半。比錄音本身還久。
而且它把技術名詞聽錯得很離譜——GGUF 聽成 GDUF，HuggingFace 聽成 HackingFast。同樣的音檔丟給雲端服務，時間短很多，名詞也對得上。
以我現在的用量，買硬體會買了用不上。
我一個月只轉幾次錄音，這個量撐不起一台專門的機器。掄錘者的前提是每天都在跑，小天的前提是整天掛著在收東西。
所以，適合你嗎
三支影片都在很認真地回答「怎麼配」。這不是他們的問題——會點進硬體評測的人，通常已經決定要買了。
但如果你還在猶豫的階段，「怎麼配」是一個假問題。它會把你帶進規格比較的迷宮：顯示卡幾 G、介面幾倍速、要不要兩張卡。每一題都有清楚的答案，每一題都很有趣，而沒有一題能告訴你該不該買。
真正決定答案的是三件重要的事。
第一，你每天實際會用多久。不是「有了以後可能會用多少」，是你上個月真的用了多少。
第二，斷掉的那天你損失什麼。如果答案是「等一小時再做」，那你買的保險保費太高了。
第三，你有多少時間可以拿去折騰。這件事沒有裝好就結束這回事。
三題都是明確的「很多」，Qwen3.8 27B 這條路值得走，掄錘者的配置建議可以直接參考。有一題答不上來，先用雲端服務，把錢省下來等下一代顯示卡。
帶得走的一件事
看完三支影片，我最有感的是自己算的那筆帳：兩張卡要五年多才回本。規格會回答你問的每一題，顯示卡幾 G、介面幾倍速，但沒有一題會告訴你這個問題該不該問；我是因為那次算完才不再從規格表開始看東西。
我試過一個有點難堪的做法，你要的話可以試試：回去翻上一次你買了、結果用不到三次的東西，器材、課程、訂閱都算，寫下當初說服自己的那一句話。然後把這個月想買的東西放旁邊，也寫下現在說服自己的那一句。我第一次做，兩句只差了產品名。下次按下購買鍵之前把這張紙拿出來看，兩句一樣，就先用現有的東西撐一個月；兩句真的不一樣，那就是這次不同的證據。
留言
載入留言中…