抡锤者

我查了一下，你們那的7900xtx比台灣這便宜了快一兩千，但是PRO 9700反而只差一千不到....

RTX 5060 Ti 16GB／Ryzen 5 7500F／64GB RAM 測試結果

測試內容：一篇 800 字的繁中文章，reasoning_effort: none，max_tokens 1500。數字取暖機後的第二次結果。

模型 解碼模式 輸出 tok/s Draft 接受率 備註
Flash-Next IQ3_XXS 取樣（預設） 63.2 59%（501/851） Hermes 實際會遇到的情況
Flash-Next IQ3_XXS greedy（溫度 0、penalty 歸零） 70.1 69%（472/683）
Flash-Next NVFP4 GPTQ 取樣（預設） 25.9 58%（345/596） RAM-budget 模式：40 GiB 放在 RAM，其餘從 SSD 讀
Qwen3.6-35B-A3B Q8_0 取樣（預設） 40.3 無 MTP 取樣請求不會用 MTP
Qwen3.6-35B-A3B Q8_0 只設溫度 0 40.9 無 MTP 預設的 presence_penalty 1.5 仍讓請求被當成取樣
Qwen3.6-35B-A3B Q8_0 greedy（溫度 0、penalty 歸零） 48.3 61%（430/710） 每層只有 20/256 experts 在 VRAM

prompt 速度沒有列出來：這次的 prompt 只有 7–47 個 token，測不出實際的處理速度。

各模型的特性

IQ3_XXS	NVFP4	Qwen3.6 Q8_0

參數規模 125B（MoE） 125B（MoE） 35B（3B active）
品質（與 Q8_0 同 top token） 低於 IQ3_S 的 87.7% 92.1% —
取樣模式下有沒有 MTP 有 有 沒有（只有 greedy 才有）
64GB RAM 夠不夠 夠，可以 128K context 不夠，需要約 80GB 夠
能不能 calibrate 能（已跑過，維持預設值） 能 不支援

結論

Hermes 主力：IQ3_XXS。取樣模式下最快，而且是 125B 的模型。
NVFP4：品質最好，但要等 RAM 升到 96GB 以上才有實用價值。
Qwen3.6：Q8_0 在 16GB 卡上受 CPU 限制，加上取樣時沒有 MTP，這台機器上沒有優勢。如果要再試，改用 UD-Q4_K_XL。

Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB + 64GB RAM

**結論：**在這台機器上，Hermes 主力用 Flash-Next IQ3_S。取樣模式輸出 55.9 tok/s，品質和完整模型相當（與 Q8_0 同 top token 87.7%）。IQ3_XXS 快 12%（63.2 tok/s），但品質較低。NVFP4 品質最好，可是 64GB RAM 放不下全部 experts，只剩 25.9 tok/s。Qwen3.6-35B-A3B 在取樣模式下不會用 MTP，只有 40.3 tok/s。

測試環境

• GPU：RTX 5060 Ti 16GB（PCIe 實測 14.4 GB/s）
• CPU：Ryzen 5 7500F（6 核，AVX-512）
• RAM：64GB
• 系統：Windows，Strata 引擎 0.1.44.1
• 測試方式：透過 OpenAI 相容 API，請模型寫約 800 字繁中文章，max_tokens 1500，reasoning_effort: none。第一次當暖機，不計入結果

輸出速度

模型	解碼模式	輸出 tok/s	Draft 接受率	備註
Flash-Next IQ3_S	取樣（預設）	55.9	70–78%	目前主力，兩次平均
Flash-Next IQ3_S	greedy	59.9	79–80%	對照用，兩次平均
Flash-Next IQ3_XXS	取樣（預設）	63.2	59%	有開 vision
Flash-Next IQ3_XXS	greedy	70.1	69%	對照用
Flash-Next NVFP4 GPTQ	取樣（預設）	25.9	58%	RAM-budget 模式，部分 experts 從 SSD 讀取
Qwen3.6-35B-A3B Q8_0	取樣（預設）	40.3	無 MTP	取樣請求不走 MTP
Qwen3.6-35B-A3B Q8_0	只設溫度 0	40.9	無 MTP	預設 presence_penalty 1.5 仍算取樣
Qwen3.6-35B-A3B Q8_0	greedy	48.3	61%	每層只有 20/256 experts 在 VRAM

「取樣」指請求不帶取樣參數，由 server 套用 model card 的預設值；「greedy」指 temperature 0 且所有 penalty 歸零。prompt 只有 7–47 token，prompt 速度沒有參考價值，所以沒有列入。IQ3_XXS 有開 vision（約占 1.4GB VRAM），IQ3_S 沒開，兩者實際差距可能比表上略大。

各模型重點

• IQ3_S：experts 50.3GB，全部常駐 RAM。官方註明需要 64GB 而且幾乎不開其他程式，context 最多 128K。量化誤差小，MTP 草稿接受率明顯高於 IQ3_XXS（70–78% 對 59%），抵銷了一部分運算量，因此只慢 12%。
• IQ3_XXS：experts 43GB，64GB 下可以開 128K context 並同時開 vision；取樣模式下 MTP 照樣有作用。
• NVFP4 GPTQ：品質最高（92.1%），但 experts 要 68GB，大約需要 80GB RAM。64GB 時會改用 RAM-budget，page-lock 失敗；每個 expert 2.76MB，VRAM 只放得下 2632 個。開 vision 的話，CPU encoder 會因 commit 不足而無法啟動，要改成 --vision no。
• Qwen3.6-35B-A3B Q8_0：走獨立的 q36 引擎，不支援 --calibrate。MTP 只在 greedy 請求時啟用，條件是 temperature 0 且所有 penalty 為預設值。

踩過的坑

• config 殘留舊安裝的 MTP 路徑，引擎找不到 dense.txt：重跑 START-HERE.bat --setup --data-dir D:\Strata-data。
• SETUP 選單找不到 IQ3_S：IQ3_S 只屬於 qwen 和 swift 兩個 family，直接用參數指定 START-HERE.bat --setup --family qwen --model IQ3_S。
• setup 沒有關閉預設思考的選項：在 Web UI 的 Sampling 把 Thinking 設成 Off，並開啟「Use for other apps too」。這是每個模型各自的設定，換模型後要重設。
• PowerShell 5.1 用 curl.exe 送中文會以 cp950 編碼，變成亂碼；Invoke-RestMethod 則會把回應的 UTF-8 當成 ISO-8859-1。解法是送出時轉成 UTF-8 bytes，收到後自行用 UTF-8 解碼。

結論

64GB RAM 加 16GB VRAM 的配置下，IQ3_S 用 12% 的速度換到接近完整模型的品質，適合 agent 用途。如果更在意速度，選 IQ3_XXS。NVFP4 要等 RAM 到 96GB 以上才划算；Qwen3.6 如果要再試，建議改用 UD-Q4_K_XL。

不好意思，因為論壇只允許短時間內修改，所以只好再發一篇新的，絕非灌水