(更新: v0.1.44.1 NVFP4) Strata 雙卡 RTX 5060 Ti 16GB QFN 196K／256K 長 Context 實測
-
-
-
內存DDR5 64GB 5060TI 16G 單卡
qwen3.8-flash-next-iq3_xxs
輸出約63t/s，但是感覺智力低於Qwen 3.6 35B A3B......@Titain-Huang 这怎么可能呢
-
內存DDR5 64GB 5060TI 16G 單卡
qwen3.8-flash-next-iq3_xxs
輸出約63t/s，但是感覺智力低於Qwen 3.6 35B A3B...... -
，
T terry 固定了此主题
-
內存DDR5 64GB 5060TI 16G 單卡
qwen3.8-flash-next-iq3_xxs
輸出約63t/s，但是感覺智力低於Qwen 3.6 35B A3B......不要用XXS啊，原文測試用IQ3_S
最新一版又改成NVFP4了 速度比IQ3_S慢了些但
不覺得有智力低的問題@yu 不是吧？我昨天晚上剛設好環境測了一下發文，就這麼點時間又有更新了？
我這邊測試是感覺他花在思考跟試誤的時間比35B A3B長很多，不過考慮到flash畢竟是125B.....思考時間長一點好像又還在合理範圍 -
@yu 不是吧？我昨天晚上剛設好環境測了一下發文，就這麼點時間又有更新了？
我這邊測試是感覺他花在思考跟試誤的時間比35B A3B長很多，不過考慮到flash畢竟是125B.....思考時間長一點好像又還在合理範圍@Titain-Huang 是否有將預設思考關閉? 由agent去決定思考程度?
我使用hermes接上nvfp4版本測試鵜鶘騎車html，體感首字吐出是不慢的
但過程中明明html已產生看起來結果也不差，但它最後確實有在修修改改，不曉得是不是agent的自我驗證，但整體完成時間也不久最新版v0.1.44.1是10/14釋出，你如果是昨天才取得的應該就是最新版
-
看数据得知，2张 vs 4张 性能差不多。运行nvfp4，2张就够了。但是，我最心水的，还是27b fp8 dense，只有tp4支持。
-
RTX 5060 Ti 16GB／Ryzen 5 7500F／64GB RAM 測試結果
測試內容：一篇 800 字的繁中文章，reasoning_effort: none，max_tokens 1500。數字取暖機後的第二次結果。
模型 解碼模式 輸出 tok/s Draft 接受率 備註
Flash-Next IQ3_XXS 取樣（預設） 63.2 59%（501/851） Hermes 實際會遇到的情況
Flash-Next IQ3_XXS greedy（溫度 0、penalty 歸零） 70.1 69%（472/683）
Flash-Next NVFP4 GPTQ 取樣（預設） 25.9 58%（345/596） RAM-budget 模式：40 GiB 放在 RAM，其餘從 SSD 讀
Qwen3.6-35B-A3B Q8_0 取樣（預設） 40.3 無 MTP 取樣請求不會用 MTP
Qwen3.6-35B-A3B Q8_0 只設溫度 0 40.9 無 MTP 預設的 presence_penalty 1.5 仍讓請求被當成取樣
Qwen3.6-35B-A3B Q8_0 greedy（溫度 0、penalty 歸零） 48.3 61%（430/710） 每層只有 20/256 experts 在 VRAMprompt 速度沒有列出來：這次的 prompt 只有 7–47 個 token，測不出實際的處理速度。
各模型的特性
IQ3_XXS NVFP4 Qwen3.6 Q8_0參數規模 125B（MoE） 125B（MoE） 35B（3B active）
品質（與 Q8_0 同 top token） 低於 IQ3_S 的 87.7% 92.1% —
取樣模式下有沒有 MTP 有 有 沒有（只有 greedy 才有）
64GB RAM 夠不夠 夠，可以 128K context 不夠，需要約 80GB 夠
能不能 calibrate 能（已跑過，維持預設值） 能 不支援結論
Hermes 主力：IQ3_XXS。取樣模式下最快，而且是 125B 的模型。
NVFP4：品質最好，但要等 RAM 升到 96GB 以上才有實用價值。
Qwen3.6：Q8_0 在 16GB 卡上受 CPU 限制，加上取樣時沒有 MTP，這台機器上沒有優勢。如果要再試，改用 UD-Q4_K_XL。 -
RTX 5060 Ti 16GB／Ryzen 5 7500F／64GB RAM 測試結果
測試內容：一篇 800 字的繁中文章，reasoning_effort: none，max_tokens 1500。數字取暖機後的第二次結果。
模型 解碼模式 輸出 tok/s Draft 接受率 備註
Flash-Next IQ3_XXS 取樣（預設） 63.2 59%（501/851） Hermes 實際會遇到的情況
Flash-Next IQ3_XXS greedy（溫度 0、penalty 歸零） 70.1 69%（472/683）
Flash-Next NVFP4 GPTQ 取樣（預設） 25.9 58%（345/596） RAM-budget 模式：40 GiB 放在 RAM，其餘從 SSD 讀
Qwen3.6-35B-A3B Q8_0 取樣（預設） 40.3 無 MTP 取樣請求不會用 MTP
Qwen3.6-35B-A3B Q8_0 只設溫度 0 40.9 無 MTP 預設的 presence_penalty 1.5 仍讓請求被當成取樣
Qwen3.6-35B-A3B Q8_0 greedy（溫度 0、penalty 歸零） 48.3 61%（430/710） 每層只有 20/256 experts 在 VRAMprompt 速度沒有列出來：這次的 prompt 只有 7–47 個 token，測不出實際的處理速度。
各模型的特性
IQ3_XXS NVFP4 Qwen3.6 Q8_0參數規模 125B（MoE） 125B（MoE） 35B（3B active）
品質（與 Q8_0 同 top token） 低於 IQ3_S 的 87.7% 92.1% —
取樣模式下有沒有 MTP 有 有 沒有（只有 greedy 才有）
64GB RAM 夠不夠 夠，可以 128K context 不夠，需要約 80GB 夠
能不能 calibrate 能（已跑過，維持預設值） 能 不支援結論
Hermes 主力：IQ3_XXS。取樣模式下最快，而且是 125B 的模型。
NVFP4：品質最好，但要等 RAM 升到 96GB 以上才有實用價值。
Qwen3.6：Q8_0 在 16GB 卡上受 CPU 限制，加上取樣時沒有 MTP，這台機器上沒有優勢。如果要再試，改用 UD-Q4_K_XL。 -
當時買這張主機板的時候只看到有兩條PCIex16，沒想到第二條只有PCIex1的頻寬，硬裝是裝的上去，但是一上負載就掉驅動:~~~~
後悔莫及啊 -
，系统 取消固定了此主题
-
當時買這張主機板的時候只看到有兩條PCIex16，沒想到第二條只有PCIex1的頻寬，硬裝是裝的上去，但是一上負載就掉驅動:~~~~
後悔莫及啊
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！