(更新: v0.1.44.1 NVFP4) Strata 雙卡 RTX 5060 Ti 16GB QFN 196K／256K 長 Context 實測
-
-
-
RTX 5070 Ti 16GB 方案才是最有性价比
這是因為Nvidia 的產品規劃有問題
RTX 5080 和 RTX 5070 Ti 共用 GB203晶片, 一樣都是16GB VRAM 但5080價格差異不少(!?) ; decode 卡在 VRAM 頻寬只差異 7%
不過看網站Qwen3.6-Flash-Next (QFN) 的數據資料還不夠多, 後期排名應該會改變,
以打遊戲來說 當然要選 RTX 5080; 以VRAM來說就選 5060 Ti 16GB, 我看"yu
" 的數據跑分 QFN應該會是最有性价比, 但要依靠使用者們去上載測試數據 就會變第一了ChatGPT : RTX 5080 vs RTX 5070 Ti — GB203 GPU 規格比較
兩張顯卡均採用 NVIDIA Blackwell GB203 GPU，RTX 5070 Ti 為停用部分運算單元的版本。
GPU Specification Comparison
規格 (Specification) RTX 5080 RTX 5070 Ti 5080 優勢 GPU Die GB203 GB203 相同 Architecture Blackwell Blackwell 相同 SM 數量 84 70 +20% CUDA Cores 10,752 8,960 +20% Tensor Cores (5th Gen) 336 280 +20% RT Cores 84 70 +20% VRAM 16GB GDDR7 16GB GDDR7 相同 VRAM Bus 256-bit 256-bit 相同 VRAM Speed 30 Gbps 28 Gbps +7.1% VRAM Bandwidth 960 GB/s 896 GB/s +7.1% L2 Cache 64 MB 48 MB +33.3% Boost Clock 2,617 MHz 2,452 MHz +6.7% FP32 Compute 56.3 TFLOPS 43.9 TFLOPS +28.2% AI Performance 1,801 TOPS 1,406 TOPS +28.1% TGP 360W 300W +20% 功耗 PCIe 5.0 x16 5.0 x16 相同 Local LLM Inference Analysis
1. Decode Performance (TG)
- RTX 5080 記憶體頻寬比 RTX 5070 Ti 高 7.1%。
- 對 Memory Bandwidth-bound Decode 工作負載，
理論優勢主要來自 VRAM Bandwidth。 - CUDA Cores 增加 20%，不代表 TG 增加 20%。
2. Prefill Performance (PP)
- RTX 5080 SM 數量增加 20%。
- Tensor Cores 增加 20%。
- FP32 理論算力增加約 28%。
- Compute-bound Prefill 有機會獲得較大的效能提升。
3. VRAM Capacity
- 兩款均提供 16GB GDDR7。
- 單卡模型權重與 KV Cache 容量基本相同。
- RTX 5080 不具備 VRAM 容量優勢。
Conclusion
比較項目 RTX 5080 相對優勢 SM / CUDA / Tensor Cores +20% FP32 Compute +28.2% VRAM Bandwidth +7.1% VRAM Capacity 0% L2 Cache +33.3% TGP +20% 結論：
RTX 5080 具有明顯的運算能力優勢，
但 VRAM Bandwidth 僅比 RTX 5070 Ti 高 7.1%。對 Memory Bandwidth-bound 的 Local LLM Decode，
RTX 5070 Ti 可能提供更好的 Price/Performance。以上為硬體規格推導，並非實際 LLM Benchmark 數據。
-
-
-
內存DDR5 64GB 5060TI 16G 單卡
qwen3.8-flash-next-iq3_xxs
輸出約63t/s，但是感覺智力低於Qwen 3.6 35B A3B......@Titain-Huang 这怎么可能呢
-
內存DDR5 64GB 5060TI 16G 單卡
qwen3.8-flash-next-iq3_xxs
輸出約63t/s，但是感覺智力低於Qwen 3.6 35B A3B...... -
，
T terry 固定了此主题
-
內存DDR5 64GB 5060TI 16G 單卡
qwen3.8-flash-next-iq3_xxs
輸出約63t/s，但是感覺智力低於Qwen 3.6 35B A3B......不要用XXS啊，原文測試用IQ3_S
最新一版又改成NVFP4了 速度比IQ3_S慢了些但
不覺得有智力低的問題@yu 不是吧？我昨天晚上剛設好環境測了一下發文，就這麼點時間又有更新了？
我這邊測試是感覺他花在思考跟試誤的時間比35B A3B長很多，不過考慮到flash畢竟是125B.....思考時間長一點好像又還在合理範圍 -
@yu 不是吧？我昨天晚上剛設好環境測了一下發文，就這麼點時間又有更新了？
我這邊測試是感覺他花在思考跟試誤的時間比35B A3B長很多，不過考慮到flash畢竟是125B.....思考時間長一點好像又還在合理範圍@Titain-Huang 是否有將預設思考關閉? 由agent去決定思考程度?
我使用hermes接上nvfp4版本測試鵜鶘騎車html，體感首字吐出是不慢的
但過程中明明html已產生看起來結果也不差，但它最後確實有在修修改改，不曉得是不是agent的自我驗證，但整體完成時間也不久最新版v0.1.44.1是10/14釋出，你如果是昨天才取得的應該就是最新版
-
看数据得知，2张 vs 4张 性能差不多。运行nvfp4，2张就够了。但是，我最心水的，还是27b fp8 dense，只有tp4支持。
-
RTX 5060 Ti 16GB／Ryzen 5 7500F／64GB RAM 測試結果
測試內容：一篇 800 字的繁中文章，reasoning_effort: none，max_tokens 1500。數字取暖機後的第二次結果。
模型 解碼模式 輸出 tok/s Draft 接受率 備註
Flash-Next IQ3_XXS 取樣（預設） 63.2 59%（501/851） Hermes 實際會遇到的情況
Flash-Next IQ3_XXS greedy（溫度 0、penalty 歸零） 70.1 69%（472/683）
Flash-Next NVFP4 GPTQ 取樣（預設） 25.9 58%（345/596） RAM-budget 模式：40 GiB 放在 RAM，其餘從 SSD 讀
Qwen3.6-35B-A3B Q8_0 取樣（預設） 40.3 無 MTP 取樣請求不會用 MTP
Qwen3.6-35B-A3B Q8_0 只設溫度 0 40.9 無 MTP 預設的 presence_penalty 1.5 仍讓請求被當成取樣
Qwen3.6-35B-A3B Q8_0 greedy（溫度 0、penalty 歸零） 48.3 61%（430/710） 每層只有 20/256 experts 在 VRAMprompt 速度沒有列出來：這次的 prompt 只有 7–47 個 token，測不出實際的處理速度。
各模型的特性
IQ3_XXS NVFP4 Qwen3.6 Q8_0參數規模 125B（MoE） 125B（MoE） 35B（3B active）
品質（與 Q8_0 同 top token） 低於 IQ3_S 的 87.7% 92.1% —
取樣模式下有沒有 MTP 有 有 沒有（只有 greedy 才有）
64GB RAM 夠不夠 夠，可以 128K context 不夠，需要約 80GB 夠
能不能 calibrate 能（已跑過，維持預設值） 能 不支援結論
Hermes 主力：IQ3_XXS。取樣模式下最快，而且是 125B 的模型。
NVFP4：品質最好，但要等 RAM 升到 96GB 以上才有實用價值。
Qwen3.6：Q8_0 在 16GB 卡上受 CPU 限制，加上取樣時沒有 MTP，這台機器上沒有優勢。如果要再試，改用 UD-Q4_K_XL。 -
RTX 5060 Ti 16GB／Ryzen 5 7500F／64GB RAM 測試結果
測試內容：一篇 800 字的繁中文章，reasoning_effort: none，max_tokens 1500。數字取暖機後的第二次結果。
模型 解碼模式 輸出 tok/s Draft 接受率 備註
Flash-Next IQ3_XXS 取樣（預設） 63.2 59%（501/851） Hermes 實際會遇到的情況
Flash-Next IQ3_XXS greedy（溫度 0、penalty 歸零） 70.1 69%（472/683）
Flash-Next NVFP4 GPTQ 取樣（預設） 25.9 58%（345/596） RAM-budget 模式：40 GiB 放在 RAM，其餘從 SSD 讀
Qwen3.6-35B-A3B Q8_0 取樣（預設） 40.3 無 MTP 取樣請求不會用 MTP
Qwen3.6-35B-A3B Q8_0 只設溫度 0 40.9 無 MTP 預設的 presence_penalty 1.5 仍讓請求被當成取樣
Qwen3.6-35B-A3B Q8_0 greedy（溫度 0、penalty 歸零） 48.3 61%（430/710） 每層只有 20/256 experts 在 VRAMprompt 速度沒有列出來：這次的 prompt 只有 7–47 個 token，測不出實際的處理速度。
各模型的特性
IQ3_XXS NVFP4 Qwen3.6 Q8_0參數規模 125B（MoE） 125B（MoE） 35B（3B active）
品質（與 Q8_0 同 top token） 低於 IQ3_S 的 87.7% 92.1% —
取樣模式下有沒有 MTP 有 有 沒有（只有 greedy 才有）
64GB RAM 夠不夠 夠，可以 128K context 不夠，需要約 80GB 夠
能不能 calibrate 能（已跑過，維持預設值） 能 不支援結論
Hermes 主力：IQ3_XXS。取樣模式下最快，而且是 125B 的模型。
NVFP4：品質最好，但要等 RAM 升到 96GB 以上才有實用價值。
Qwen3.6：Q8_0 在 16GB 卡上受 CPU 限制，加上取樣時沒有 MTP，這台機器上沒有優勢。如果要再試，改用 UD-Q4_K_XL。 -
當時買這張主機板的時候只看到有兩條PCIex16，沒想到第二條只有PCIex1的頻寬，硬裝是裝的上去，但是一上負載就掉驅動:~~~~
後悔莫及啊 -
，系统 取消固定了此主题
-
當時買這張主機板的時候只看到有兩條PCIex16，沒想到第二條只有PCIex1的頻寬，硬裝是裝的上去，但是一上負載就掉驅動:~~~~
後悔莫及啊
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！