升级后单卡7900xtx，strata 可以跑 100token/s 了！！

[farmer node]

@kos-or 之前单卡70token/s ， tp2 可以上100，现在还没试过，估计可以到150token/s? 哈哈哈

[kos or]

tp2 可以上100，现在还没试过，估计可以到150token/s

別飆車呀！再飆到150 tok/s 就超越我的雙卡 RTX 5070 Ti 了 ！！

RTX5070 Ti : 我先打ˋ4K Games

[farmer node]

图上的是真实生产跑的速度 能到100， 测试跑的矩阵 的速度是这样的：
已测的是 2K、16K、64K、128K、220K 输入，每档分别测单路和双路，输出上限 1024 token。下面是已完成格的实测速度；双路数字是“每路”，不是相加后的吞吐：

2K：单路 Decode 109.4 tok/s；双路各 109.7、114.1 tok/s；整批约 16 秒。
16K：单路 104.3；双路各 104.6、103.1 tok/s；整批约 26 秒。
64K：单路 97.9；双路各 96.2、96.8 tok/s；整批约 72 秒。
128K：单路 94.1；双路各 94.7、94.4 tok/s；整批约 138 秒。
220K：单路 90.3 tok/s，Prefill 约 226 秒，整次约 238 秒；
测试容器是 ROCm 10.1.0 + Strata 0.1.44.1、双单卡 replicas

[kenshin]

模型量化版本是什么？IQ3_S?

[exllm]

估计是rocm10.1的功劳，我rocm10.0.0 strata 1.44.1 没到100t/s

[Hackner Weinland]

prefill有多少？

[terry]

不错，我又可以水一期视频。现在完全靠论坛网友养活着。

[J Z 0]

@farmer-node 我也升了， 速度没升也没降， 但SSD疯狂读盘， 只要agent干活， 就在读ssd。 好奇怪， 我看你的ssd几乎是不动的

[909]

我很好奇你的显卡电源线怎么这么少，我得7900xtx 每个要插3个8pin，6跟线一堆乱麻

[coin1860]

楼主用的什么量化的模型iq3 s 还是xss ， 我用iq3 s pp 1800 ， tg 75 左右， 根本没有100 +

[farmer node]

@J-Z-0 https://lcz.me/topic/2317/33 ， 这个是我设备的硬件，我想的是之前贴了，这里就不贴了，EYPC 的平台， 参数这里都有， 唯一改了的就是 这个参数 --ple-io mmap

[farmer node]

@coin1860 https://lcz.me/topic/2317 这个帖子有详细参数信息，
唯一改了的就是 这个参数 --ple-io mmap，模型用的Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-proj

[farmer node]

@909 3个8 PIN 线就是你看到的，下面一个PCIE 延长线连起来就好了呀

[farmer node]

@Hackner-Weinland 最高2000左右，单卡

[J Z 0]

@farmer-node 我在另一个帖子贴了我的问题， 44和43的某些行为肯定不一样， 但我不明白为什么。 打算换个nvme硬盘， 然后再试试

[farmer node]

@J-Z-0 嗯，我在那边恢复你了，你 --ple-io ram 这个设置错了， 要设置 --ple-io mmap

[farmer node]

@exllm 峰值是100+ ， 平时还是在80左右。

[farmer node]

@kenshin 对的， GSQ 的IQ3_S

[J Z 0]

@farmer-node 一开始默认是mmap， 但ssd太慢了，吐字速度只有10几tks/s，所以把ngram塞进ram。不过不重要了，我买了个杂牌nvme，周末到了试试

[farmer node]

@J-Z-0 你这个ssd ，怎么会速度这么低呢？ 我这边ngram 冷专家 ，也就5M/s 到 1M/s 在波动，应该一般ssd 都能正常才对。