7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3

[懒人烘培]

可以可以，windows下成绩也很好~

[空语]

@懒人烘培 我很满足，出了3090本来有点落差，忽然补上去了，我3090之前prefill也不过2500+，Decode高一些，可惜4090夏天就出了，没赶上Strata。越用越倒退，省钱吃饭了哈哈

[空语]

@Y-G-0 真的吗明天试试看，毕竟用老引擎还得考虑将来升级的事

[Y G 0]

@空语

以下全部来自实测日志（非估算），中位数取自每臂 2–3 次重复：

指标	0.1.45 原版	0.1.45 + RDNA3 env	0.1.45 + RDNA3 + 全套调优	升级至0.1.54	升级至0.1.55
4K prefill tok/s	1179	1997	2094	2041	2017
16K prefill tok/s	1766	2761	2805	2697	2710
32K prefill tok/s	1779	3029	3194	3074	3108
chat decode 中位 tok/s	78.2	79.2	80.5	77.1	82.7
agent decode tok/s	88.2	92.0	87.6	95.0	97.1
agent cache hit %	—	—	68.65	69.25	69.42

供参考。

[空语]

@Y-G-0 谢谢谢谢～

[RON z]

@空语 楼主你好，我把你这个贴子丢给dsh跑一遍，它给我这样回复了：
剩下那 24% 的 decode 缺口，只能拿到作者的 fork，或者自己改写 src/kernels/cuda/native_mmvq.cu 的 MMVQ 波前布局——那属于原创内核开发，不是复现了。
我的配置是7900xtx，cpu9700x，64g内存。感谢你的回复哈

[空语]

你指的是跟linux比吗，@RON-z 你继续抽他鞭子，他也能干成，说不定还干的更好

[tom23]

调的很优秀啊，windows下都能跑这么多

[李野火]

可以帮试一下，开启思考模式，速度能有多少吗?

[空语]

@李野火 我默认就是开启思考的。要观测速度，我得等两天，因为这两天我在用一张AMD的超级老卡，驱动环境已经全换了，在重新编译Strata runtime，弄完了我换回7900再回复

[J Z 0]

@Y-G-0 这个是可以的， 我的agent也真的干了， 成功了。rdna3 的作者这几天也有基于新引擎的更新， 我也都测试了。 不过我的问题是，我用128g内存跑Q4_K_XL. 0.1.43引擎可以把PLE io 设成ram （差不多还剩10g的ram余量）， 是最快的。 引擎从某个版本开始， 对内存占用提高了，结果就是只能选direct或mmap，否则就是OOM，把东西挤回硬盘， 都没有原版rdna3设成ram快。 我估计很长一段时间内， 我都没法更新了， 不过这样也比原版strata快不少， 7900xtx单卡， 干长活60tps， 写一段简单代码80+tps

[Y G 0]

@J-Z-0

我是在ubuntu24.04.5 LTS中用的 IQ3_S, 所以内存很富裕。

记得某次agent进行了对比测试后给我的说法是，把ple io 设成 ram，对decode的速度几乎没有影响，反而因为要多读20多G数据到内存，增加了系统加载模型的时间。按默认的设置，由于专家命中率较高，所以运行中strata每次从ssd上仅仅读取很少的数据到内存，而且有预判的提前读取，对速度影响微乎其微。

尽管它这么说 ，但我还是坚持设为ram，至少strata运行时基本不读ssd了。IQ3_S比较小些，目前内存占用最多时约100G左右。

[Goitex]

@空语 可以啊兄弟,比我厉害. 担心兄弟过的苦,又怕兄弟开路虎.

[zzsoszz]

qwen 3.8 flash netxt 首字token速度要几十秒,你们是这样吗