Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM
-
Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM
**結論：**在這台機器上，Hermes 主力用 Flash-Next IQ3_XXS。取樣模式下輸出 63.2 tok/s，是三個模型裡最快的，而且是 125B 規模。NVFP4 品質最好，但 64GB RAM 放不下全部 experts，只剩 25.9 tok/s；Qwen3.6-35B-A3B 在取樣模式下不會用 MTP，只有 40.3 tok/s。
測試環境
- GPU：RTX 5060 Ti 16GB（PCIe 實測 14.4 GB/s）
- CPU：Ryzen 5 7500F（6 核，AVX-512）
- RAM：64GB
- 系統：Windows，Strata 引擎 0.1.44.1
- 測試：OpenAI 相容 API，請模型寫約 800 字的繁中文章，
max_tokens 1500，reasoning_effort: none；每組跑兩次，取暖機後的第二次
輸出速度
模型 解碼模式 輸出 tok/s Draft 接受率 備註 Flash-Next IQ3_XXS 取樣（預設） 63.2 59% Hermes 實際情況 Flash-Next IQ3_XXS greedy 70.1 69% 對照用 Flash-Next NVFP4 GPTQ 取樣（預設） 25.9 58% RAM-budget 模式，部分 experts 從 SSD 讀 Qwen3.6-35B-A3B Q8_0 取樣（預設） 40.3 無 MTP 取樣請求不走 MTP Qwen3.6-35B-A3B Q8_0 只設溫度 0 40.9 無 MTP 預設 presence_penalty 1.5 仍算取樣 Qwen3.6-35B-A3B Q8_0 greedy 48.3 61% 每層只有 20/256 experts 在 VRAM 「取樣」= 請求不帶取樣參數，由 server 套用 model card 預設值；「greedy」= temperature 0 且所有 penalty 歸零。prompt 只有 7–47 token，prompt 速度沒有參考價值，未列入。
各模型重點
- IQ3_XXS：experts 全部常駐 RAM，64GB 可以開 128K context；取樣模式下 MTP 照樣有作用。
- NVFP4 GPTQ：品質最高（與 Q8_0 同 top token 的比例 92.1%），但 experts 就要 68GB，需要約 80GB RAM。64GB 時會改用 RAM-budget 模式，page-lock 失敗；每個 expert 2.76MB，VRAM 只放得下 2632 個。開 vision 的話，CPU encoder 會因為 commit 不足而無法啟動，要改用
--vision no。 - Qwen3.6-35B-A3B Q8_0：走獨立的 q36 引擎，不支援
--calibrate。MTP 只在 greedy 請求時啟用，條件是 temperature 為 0 且所有 penalty 都是預設值。
踩過的坑
- config 殘留舊安裝的 MTP 路徑，引擎找不到
dense.txt：重跑START-HERE.bat --setup --data-dir D:\Strata-data。 - setup 沒有關閉預設思考的選項：在 Web UI 的 Sampling 把 Thinking 設為 Off，並開啟「Use for other apps too」，其他 API 用戶端也會一起套用。
- PowerShell 5.1 用
curl.exe送中文會用 cp950 編碼，變成亂碼；Invoke-RestMethod則會把回應的 UTF-8 當成 ISO-8859-1 解讀。解法是送出時轉成 UTF-8 bytes，收到回應後自行解碼。
結論
64GB RAM 加 16GB VRAM 的配置下，IQ3_XXS 是速度和規模之間最好的平衡。NVFP4 要等 RAM 到 96GB 以上才划算；Qwen3.6 如果要再試，建議改用 UD-Q4_K_XL。
-
-
Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM
**結論：**在這台機器上，Hermes 主力用 Flash-Next IQ3_XXS。取樣模式下輸出 63.2 tok/s，是三個模型裡最快的，而且是 125B 規模。NVFP4 品質最好，但 64GB RAM 放不下全部 experts，只剩 25.9 tok/s；Qwen3.6-35B-A3B 在取樣模式下不會用 MTP，只有 40.3 tok/s。
測試環境
- GPU：RTX 5060 Ti 16GB（PCIe 實測 14.4 GB/s）
- CPU：Ryzen 5 7500F（6 核，AVX-512）
- RAM：64GB
- 系統：Windows，Strata 引擎 0.1.44.1
- 測試：OpenAI 相容 API，請模型寫約 800 字的繁中文章，
max_tokens 1500，reasoning_effort: none；每組跑兩次，取暖機後的第二次
輸出速度
模型 解碼模式 輸出 tok/s Draft 接受率 備註 Flash-Next IQ3_XXS 取樣（預設） 63.2 59% Hermes 實際情況 Flash-Next IQ3_XXS greedy 70.1 69% 對照用 Flash-Next NVFP4 GPTQ 取樣（預設） 25.9 58% RAM-budget 模式，部分 experts 從 SSD 讀 Qwen3.6-35B-A3B Q8_0 取樣（預設） 40.3 無 MTP 取樣請求不走 MTP Qwen3.6-35B-A3B Q8_0 只設溫度 0 40.9 無 MTP 預設 presence_penalty 1.5 仍算取樣 Qwen3.6-35B-A3B Q8_0 greedy 48.3 61% 每層只有 20/256 experts 在 VRAM 「取樣」= 請求不帶取樣參數，由 server 套用 model card 預設值；「greedy」= temperature 0 且所有 penalty 歸零。prompt 只有 7–47 token，prompt 速度沒有參考價值，未列入。
各模型重點
- IQ3_XXS：experts 全部常駐 RAM，64GB 可以開 128K context；取樣模式下 MTP 照樣有作用。
- NVFP4 GPTQ：品質最高（與 Q8_0 同 top token 的比例 92.1%），但 experts 就要 68GB，需要約 80GB RAM。64GB 時會改用 RAM-budget 模式，page-lock 失敗；每個 expert 2.76MB，VRAM 只放得下 2632 個。開 vision 的話，CPU encoder 會因為 commit 不足而無法啟動，要改用
--vision no。 - Qwen3.6-35B-A3B Q8_0：走獨立的 q36 引擎，不支援
--calibrate。MTP 只在 greedy 請求時啟用，條件是 temperature 為 0 且所有 penalty 都是預設值。
踩過的坑
- config 殘留舊安裝的 MTP 路徑，引擎找不到
dense.txt：重跑START-HERE.bat --setup --data-dir D:\Strata-data。 - setup 沒有關閉預設思考的選項：在 Web UI 的 Sampling 把 Thinking 設為 Off，並開啟「Use for other apps too」，其他 API 用戶端也會一起套用。
- PowerShell 5.1 用
curl.exe送中文會用 cp950 編碼，變成亂碼；Invoke-RestMethod則會把回應的 UTF-8 當成 ISO-8859-1 解讀。解法是送出時轉成 UTF-8 bytes，收到回應後自行解碼。
結論
64GB RAM 加 16GB VRAM 的配置下，IQ3_XXS 是速度和規模之間最好的平衡。NVFP4 要等 RAM 到 96GB 以上才划算；Qwen3.6 如果要再試，建議改用 UD-Q4_K_XL。
-
感謝通知，來試試看。的確是覺得思考重試次數很多.....
-
-
-
我跟你的配置一样， 我使用的FLASH-Next IQ3_S
一次性生成任务（都是"一次成型"的硬活）：
复合弓射箭 SVG 动画（拉弓-瞄准-放弦-箭矢抛物线-命中特效）
鹈鹕土星环骑自行车 SVG 动画（椭圆轨道、端点不翻车、动作连贯）
MACOS 浏览器内操作系统（单文件 HTML/JS 复刻桌面交互）
3D 赛博朋克风格赛车游戏平均速度是58token/s
可以试试 FLASH-Next IQ3_S ，上下文 128k -
