Nvidia 雙卡 RTX5070 Ti 16G - Decode 最高 140 tok/s on Strata v0.1.31 - Swift-Qwen3.8-Flash-Next
-
剛跑完雙卡RTX 5070 Ti 以下數據提供大家參考 (簡單基本測試)
雙卡 RTX 5070 Ti 16G Decode :
解題 : 127 tok/s
Coding: 110~140 tok/s
英文寫作 : 100 tok/s
中文寫作 : 85 tok/s平台規格 :
目標模型 ：Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS
推理引擎 ：Strata v0.1.31 https://github.com/Niko1221/Strata/releases
KV cache：INT8
Context : 256 KCPU : AMD Threadripper Pro 3945WX (12C/24T)
RAM : DDR4-2400 ECC 八通道 (153 GB/s 理論值)
PCIe : 雙 PCIe 4.0 x 16 (32GB/s 理論值)
Coding :
strata] writing a tool call: write: 5750 of max 128000 tokens, 139.7 tok/s, 42 s
[strata] writing a tool call: write: 5896 of max 128000 tokens, 139.8 tok/s, 43 s
[strata] writing a tool call: write: 6047 of max 128000 tokens, 140.0 tok/s, 44 s
[strata] writing a tool call: write: 6188 of max 128000 tokens, 140.1 tok/s, 45 s
[strata] writing a tool call: write: 6319 of max 128000 tokens, 139.8 tok/s, 46 s
[strata] writing a tool call: write: 6448 of max 128000 tokens, 139.6 tok/s, 47 s
[strata] writing a tool call: write: 6595 of max 128000 tokens, 139.7 tok/s, 48 s
[strata] writing a tool call: write: 6732 of max 128000 tokens, 139.7 tok/s, 49 s它這PP這麼快 也不知道怎麼辦到的 難道是IQ3_XXS 量化的關係？
蠻適合用來整理大量文件
-
-
單卡的數據也蠻漂亮的 PP增加了 70% ; 如果只有一個project 跑雙卡速度快些, 如果要同時做兩個project coding 跑兩個單卡
單卡Strata v0.1.31 新版的效能表現
Metric (median of 3 measured runs) / Strata版本 v0.1.20 單卡 v0.1.31 單卡 Change Prompt processing (PP) 1,025.8 tok/s 1,755.2 tok/s +71.11% Generation/decode (TG) 97.2 tok/s 95.1 tok/s -2.16% End-to-end benchmark request wall time 3.9829 s 2.7846 s -30.09% TTFT to first user-visible content 3.2814 s 1.9924 s -39.28% -
單卡的數據也蠻漂亮的 PP增加了 70% ; 如果只有一個project 跑雙卡速度快些, 如果要同時做兩個project coding 跑兩個單卡
單卡Strata v0.1.31 新版的效能表現
Metric (median of 3 measured runs) / Strata版本 v0.1.20 單卡 v0.1.31 單卡 Change Prompt processing (PP) 1,025.8 tok/s 1,755.2 tok/s +71.11% Generation/decode (TG) 97.2 tok/s 95.1 tok/s -2.16% End-to-end benchmark request wall time 3.9829 s 2.7846 s -30.09% TTFT to first user-visible content 3.2814 s 1.9924 s -39.28% -
@kos-or 我觉得跑两个单卡明显性价比更高，
解題 : 127 tok/s
Coding: 110~140 tok/s
英文寫作 : 100 tok/s
中文寫作 : 85 tok/s这个速度跟我单卡 3090 的速度几乎是一样的。
-
-
搞错了， 用 Strata的话， 应该是开不了两个单卡， cpu和内存都占着呢。。。
-
@kos-or 我觉得跑两个单卡明显性价比更高，
解題 : 127 tok/s
Coding: 110~140 tok/s
英文寫作 : 100 tok/s
中文寫作 : 85 tok/s这个速度跟我单卡 3090 的速度几乎是一样的。
-
-
这个速度跟我单卡 3090 的速度几乎是一样的。
3090 價格又要起飛了 漲得真多 ！！
SM count, memory bandwidth 3090 真的比較多目前我也是覺得兩個單卡 性价比更高
-
@kos-or 今天用3090+Strata+QFN IQ3_XXS， 一口气写了60几K代码 (256K上下文) ， decode一开始90多，到后面越来越快，到最后冲到了160多 tok/s ， 我又一次瘫坐在椅子上。
-
decode一开始90多，到后面越来越快，到最后冲到了160多 tok/s
好可怕 為何後面越來越快？
我猜測可能是 熱專家(hot experts)連續使用的關係(!?)Strata 有KV Cache reuse/prefix reuse 這是NInfer 所欠缺的(沒記錯的話)
DSH decode 上到100以上, 都是幾行一起蹦出來的, 不是瀑布式cascading 文字
-
@kos-or 不知道， 就看着速度一点点涨上去， 必须长一点的代码才能涨到这个速度。 我感觉可能 coding对于这个模型来说， 就好像背诵答案一样，不怎么用思考， 越来越熟练。。。
-
我剛剛得到一組雙卡的數字 優化的 MTP7, Prompt 13k :
- 最佳整體 screening candidate：spec 7
- 最低 TTFT：5.0524 s
- 最快 Prefill：3,264.2 tok/s
- 最高 Decode/TG：139.3 tok/s
我再次測看看
- 最佳整體 screening candidate：spec 7
-
我剛剛得到一組雙卡的數字 優化的 MTP7, Prompt 13k :
- 最佳整體 screening candidate：spec 7
- 最低 TTFT：5.0524 s
- 最快 Prefill：3,264.2 tok/s
- 最高 Decode/TG：139.3 tok/s
我再次測看看
- 最佳整體 screening candidate：spec 7
-
-
3000 prefill 3090 可以做到吗？ @johnnybegood 搞一搞
@applejuice 我在用双卡测试， 不过好像卡了一个 双卡 bug, #267 ， 我可能得给Strata提一个 Issue
-
-
以後有需要再安裝，小秘書能滿足目前的需求就夠了
因為大概2~3個月內"可能"又要換模型和引擎了
我們的 RTX 5070 Ti 能用 棒棒的！Strata + QFN 對顯卡非常友善 很耐操 溫度都在55度以下，
兩張卡各別消耗130W而已，因為CPU有幫忙分擔workload，
也可以兩張單卡使用兩個QFN port 8080, 8081 各開一個，都夠用了 -
