Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB + 64GB RAM

**結論：**在這台機器上，Hermes 主力用 Flash-Next IQ3_S。取樣模式輸出 55.9 tok/s，品質和完整模型相當（與 Q8_0 同 top token 87.7%）。IQ3_XXS 快 12%（63.2 tok/s），但品質較低。NVFP4 品質最好，可是 64GB RAM 放不下全部 experts，只剩 25.9 tok/s。Qwen3.6-35B-A3B 在取樣模式下不會用 MTP，只有 40.3 tok/s。

測試環境

• GPU：RTX 5060 Ti 16GB（PCIe 實測 14.4 GB/s）
• CPU：Ryzen 5 7500F（6 核，AVX-512）
• RAM：64GB
• 系統：Windows，Strata 引擎 0.1.44.1
• 測試方式：透過 OpenAI 相容 API，請模型寫約 800 字繁中文章，max_tokens 1500，reasoning_effort: none。第一次當暖機，不計入結果

輸出速度

模型	解碼模式	輸出 tok/s	Draft 接受率	備註
Flash-Next IQ3_S	取樣（預設）	55.9	70–78%	目前主力，兩次平均
Flash-Next IQ3_S	greedy	59.9	79–80%	對照用，兩次平均
Flash-Next IQ3_XXS	取樣（預設）	63.2	59%	有開 vision
Flash-Next IQ3_XXS	greedy	70.1	69%	對照用
Flash-Next NVFP4 GPTQ	取樣（預設）	25.9	58%	RAM-budget 模式，部分 experts 從 SSD 讀取
Qwen3.6-35B-A3B Q8_0	取樣（預設）	40.3	無 MTP	取樣請求不走 MTP
Qwen3.6-35B-A3B Q8_0	只設溫度 0	40.9	無 MTP	預設 presence_penalty 1.5 仍算取樣
Qwen3.6-35B-A3B Q8_0	greedy	48.3	61%	每層只有 20/256 experts 在 VRAM

「取樣」指請求不帶取樣參數，由 server 套用 model card 的預設值；「greedy」指 temperature 0 且所有 penalty 歸零。prompt 只有 7–47 token，prompt 速度沒有參考價值，所以沒有列入。IQ3_XXS 有開 vision（約占 1.4GB VRAM），IQ3_S 沒開，兩者實際差距可能比表上略大。

各模型重點

• IQ3_S：experts 50.3GB，全部常駐 RAM。官方註明需要 64GB 而且幾乎不開其他程式，context 最多 128K。量化誤差小，MTP 草稿接受率明顯高於 IQ3_XXS（70–78% 對 59%），抵銷了一部分運算量，因此只慢 12%。
• IQ3_XXS：experts 43GB，64GB 下可以開 128K context 並同時開 vision；取樣模式下 MTP 照樣有作用。
• NVFP4 GPTQ：品質最高（92.1%），但 experts 要 68GB，大約需要 80GB RAM。64GB 時會改用 RAM-budget，page-lock 失敗；每個 expert 2.76MB，VRAM 只放得下 2632 個。開 vision 的話，CPU encoder 會因 commit 不足而無法啟動，要改成 --vision no。
• Qwen3.6-35B-A3B Q8_0：走獨立的 q36 引擎，不支援 --calibrate。MTP 只在 greedy 請求時啟用，條件是 temperature 0 且所有 penalty 為預設值。

踩過的坑

• config 殘留舊安裝的 MTP 路徑，引擎找不到 dense.txt：重跑 START-HERE.bat --setup --data-dir D:\Strata-data。
• SETUP 選單找不到 IQ3_S：IQ3_S 只屬於 qwen 和 swift 兩個 family，直接用參數指定 START-HERE.bat --setup --family qwen --model IQ3_S。
• setup 沒有關閉預設思考的選項：在 Web UI 的 Sampling 把 Thinking 設成 Off，並開啟「Use for other apps too」。這是每個模型各自的設定，換模型後要重設。
• PowerShell 5.1 用 curl.exe 送中文會以 cp950 編碼，變成亂碼；Invoke-RestMethod 則會把回應的 UTF-8 當成 ISO-8859-1。解法是送出時轉成 UTF-8 bytes，收到後自行用 UTF-8 解碼。

結論

64GB RAM 加 16GB VRAM 的配置下，IQ3_S 用 12% 的速度換到接近完整模型的品質，適合 agent 用途。如果更在意速度，選 IQ3_XXS。NVFP4 要等 RAM 到 96GB 以上才划算；Qwen3.6 如果要再試，建議改用 UD-Q4_K_XL。

不好意思，因為論壇只允許短時間內修改，所以只好再發一篇新的，絕非灌水