Nvidia 雙卡 RTX5070 Ti 16G - Decode 最高 140 tok/s on Strata v0.1.31 - Swift-Qwen3.8-Flash-Next

[johnnybegood]

@kos-or 我觉得跑两个单卡明显性价比更高，

解題 : 127 tok/s
Coding: 110~140 tok/s
英文寫作 : 100 tok/s
中文寫作 : 85 tok/s

这个速度跟我单卡 3090 的速度几乎是一样的。

[johnnybegood]

搞错了， 用 Strata的话， 应该是开不了两个单卡， cpu和内存都占着呢。。。

[terry]

CPU和内存才多少钱，洋垃圾顶起来。

[kos or]

@johnnybegood said:

cpu和内存都占着呢

可以喔 跑得動，一個 instance 單卡提供45GB, 兩個共 90GB RAM
CPU也可以 同時免強應付兩個 Strata + QFN

[kos or]

@johnnybegood said:

这个速度跟我单卡 3090 的速度几乎是一样的。

3090 價格又要起飛了 漲得真多 ！！
SM count, memory bandwidth 3090 真的比較多

目前我也是覺得兩個單卡 性价比更高

[applejuice]

@terry ddr4 有点贵

[johnnybegood]

@kos-or 今天用3090+Strata+QFN IQ3_XXS， 一口气写了60几K代码 (256K上下文) ， decode一开始90多，到后面越来越快，到最后冲到了160多 tok/s ， 我又一次瘫坐在椅子上。

[kos or]

@johnnybegood said:

decode一开始90多，到后面越来越快，到最后冲到了160多 tok/s

好可怕 為何後面越來越快？
我猜測可能是 熱專家(hot experts)連續使用的關係(!?)

Strata 有KV Cache reuse/prefix reuse 這是NInfer 所欠缺的(沒記錯的話)

DSH decode 上到100以上, 都是幾行一起蹦出來的, 不是瀑布式cascading 文字

[johnnybegood]

@kos-or 不知道， 就看着速度一点点涨上去， 必须长一点的代码才能涨到这个速度。 我感觉可能 coding对于这个模型来说， 就好像背诵答案一样，不怎么用思考， 越来越熟练。。。

[kos or]

@johnnybegood

我剛剛得到一組雙卡的數字 優化的 MTP7, Prompt 13k :

• 最佳整體 screening candidate：spec 7
  • 最低 TTFT：5.0524 s
  • 最快 Prefill：3,264.2 tok/s
  • 最高 Decode/TG：139.3 tok/s

我再次測看看

[johnnybegood]

@kos-or 这个prefill真的是爽

[YDM]

@kos-or

我沒時間玩，但有偷偷看，別吸引我

[applejuice]

3000 prefill 3090 可以做到吗？ @johnnybegood 搞一搞

[johnnybegood]

@applejuice 我在用双卡测试， 不过好像卡了一个 双卡 bug, #267 ， 我可能得给Strata提一个 Issue

[kos or]

@YDM

以後有需要再安裝，小秘書能滿足目前的需求就夠了
因為大概2~3個月內"可能"又要換模型和引擎了
我們的 RTX 5070 Ti 能用 棒棒的！

Strata + QFN 對顯卡非常友善 很耐操 溫度都在55度以下，
兩張卡各別消耗130W而已，因為CPU有幫忙分擔workload，
也可以兩張單卡使用兩個QFN port 8080, 8081 各開一個，都夠用了

[fcme]

@kos-or
看了你的帖子以后，我也把我的5070Ti试了一下，PP2000左右/TG60-65（比R9700还好），我的机器是7820配双志强6252，12x8G DDR4 ecc，拉满了12通道，5070ti走Pcie3x16。
你的应该是pcie4.0的吧，tg感觉比我的还快点。

[fcme]

哦，看到了，你的是tr平台pcie4.0x16，按说带宽翻倍应该tg更快，看来不是带宽瓶颈啊。这个模型感觉是比27B想事情更周到一丢丢。

[kos or]

@fcme said:

5070Ti试了一下，PP2000左右/TG60-65（比R9700还好）

這是中文寫作的速度嗎？

5070 Ti => 量化 IQ3_XXS 中文寫作 : 85 tok/s , 至於 IQ3_S, IQ4 我還沒試過表現

[fcme]

@kos-or
是正常使用，混合了中文和代码。你的是pcie4.0x16,而且是线程撕裂者，它貌似是支持avx512的指令集，所以快其实应该是CPU那边比较快，也是有加成的吧！
我这个戴尔7820服务器，ddr4内存12×8=96GB，但是pcie只是3.0×16。就这配置能开到上下文256k还能有2000/60左右的速度其实是性价比挺高的了。

[fcme]

对，我用的也是IQ3xxs