Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB + 64GB RAM
**結論：**在這台機器上，Hermes 主力用 Flash-Next IQ3_S。取樣模式輸出 55.9 tok/s，品質和完整模型相當（與 Q8_0 同 top token 87.7%）。IQ3_XXS 快 12%（63.2 tok/s），但品質較低。NVFP4 品質最好，可是 64GB RAM 放不下全部 experts，只剩 25.9 tok/s。Qwen3.6-35B-A3B 在取樣模式下不會用 MTP，只有 40.3 tok/s。
測試環境
- GPU：RTX 5060 Ti 16GB（PCIe 實測 14.4 GB/s）
- CPU：Ryzen 5 7500F（6 核，AVX-512）
- RAM：64GB
- 系統：Windows，Strata 引擎 0.1.44.1
- 測試方式：透過 OpenAI 相容 API，請模型寫約 800 字繁中文章，
max_tokens 1500，reasoning_effort: none。第一次當暖機，不計入結果
輸出速度
| 模型 | 解碼模式 | 輸出 tok/s | Draft 接受率 | 備註 |
|---|---|---|---|---|
| Flash-Next IQ3_S | 取樣（預設） | 55.9 | 70–78% | 目前主力，兩次平均 |
| Flash-Next IQ3_S | greedy | 59.9 | 79–80% | 對照用，兩次平均 |
| Flash-Next IQ3_XXS | 取樣（預設） | 63.2 | 59% | 有開 vision |
| Flash-Next IQ3_XXS | greedy | 70.1 | 69% | 對照用 |
| Flash-Next NVFP4 GPTQ | 取樣（預設） | 25.9 | 58% | RAM-budget 模式，部分 experts 從 SSD 讀取 |
| Qwen3.6-35B-A3B Q8_0 | 取樣（預設） | 40.3 | 無 MTP | 取樣請求不走 MTP |
| Qwen3.6-35B-A3B Q8_0 | 只設溫度 0 | 40.9 | 無 MTP | 預設 presence_penalty 1.5 仍算取樣 |
| Qwen3.6-35B-A3B Q8_0 | greedy | 48.3 | 61% | 每層只有 20/256 experts 在 VRAM |
「取樣」指請求不帶取樣參數，由 server 套用 model card 的預設值；「greedy」指 temperature 0 且所有 penalty 歸零。prompt 只有 7–47 token，prompt 速度沒有參考價值，所以沒有列入。IQ3_XXS 有開 vision（約占 1.4GB VRAM），IQ3_S 沒開，兩者實際差距可能比表上略大。
各模型重點
- IQ3_S：experts 50.3GB，全部常駐 RAM。官方註明需要 64GB 而且幾乎不開其他程式，context 最多 128K。量化誤差小，MTP 草稿接受率明顯高於 IQ3_XXS（70–78% 對 59%），抵銷了一部分運算量，因此只慢 12%。
- IQ3_XXS：experts 43GB，64GB 下可以開 128K context 並同時開 vision；取樣模式下 MTP 照樣有作用。
- NVFP4 GPTQ：品質最高（92.1%），但 experts 要 68GB，大約需要 80GB RAM。64GB 時會改用 RAM-budget，page-lock 失敗；每個 expert 2.76MB，VRAM 只放得下 2632 個。開 vision 的話，CPU encoder 會因 commit 不足而無法啟動，要改成
--vision no。 - Qwen3.6-35B-A3B Q8_0：走獨立的 q36 引擎，不支援
--calibrate。MTP 只在 greedy 請求時啟用，條件是 temperature 0 且所有 penalty 為預設值。
踩過的坑
- config 殘留舊安裝的 MTP 路徑，引擎找不到
dense.txt：重跑START-HERE.bat --setup --data-dir D:\Strata-data。 - SETUP 選單找不到 IQ3_S：IQ3_S 只屬於
qwen和swift兩個 family，直接用參數指定START-HERE.bat --setup --family qwen --model IQ3_S。 - setup 沒有關閉預設思考的選項：在 Web UI 的 Sampling 把 Thinking 設成 Off，並開啟「Use for other apps too」。這是每個模型各自的設定，換模型後要重設。
- PowerShell 5.1 用
curl.exe送中文會以 cp950 編碼，變成亂碼；Invoke-RestMethod則會把回應的 UTF-8 當成 ISO-8859-1。解法是送出時轉成 UTF-8 bytes，收到後自行用 UTF-8 解碼。
結論
64GB RAM 加 16GB VRAM 的配置下，IQ3_S 用 12% 的速度換到接近完整模型的品質，適合 agent 用途。如果更在意速度，選 IQ3_XXS。NVFP4 要等 RAM 到 96GB 以上才划算；Qwen3.6 如果要再試，建議改用 UD-Q4_K_XL。
不好意思，因為論壇只允許短時間內修改，所以只好再發一篇新的，絕非灌水