7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3
-
-
-
以下全部来自实测日志（非估算），中位数取自每臂 2–3 次重复：
指标 0.1.45 原版 0.1.45 + RDNA3 env 0.1.45 + RDNA3 + 全套调优 升级至0.1.54 升级至0.1.55 4K prefill tok/s 1179 1997 2094 2041 2017 16K prefill tok/s 1766 2761 2805 2697 2710 32K prefill tok/s 1779 3029 3194 3074 3108 chat decode 中位 tok/s 78.2 79.2 80.5 77.1 82.7 agent decode tok/s 88.2 92.0 87.6 95.0 97.1 agent cache hit % — — 68.65 69.25 69.42 供参考。
X99洋垃圾+7900XTX
-
以下全部来自实测日志（非估算），中位数取自每臂 2–3 次重复：
指标 0.1.45 原版 0.1.45 + RDNA3 env 0.1.45 + RDNA3 + 全套调优 升级至0.1.54 升级至0.1.55 4K prefill tok/s 1179 1997 2094 2041 2017 16K prefill tok/s 1766 2761 2805 2697 2710 32K prefill tok/s 1779 3029 3194 3074 3108 chat decode 中位 tok/s 78.2 79.2 80.5 77.1 82.7 agent decode tok/s 88.2 92.0 87.6 95.0 97.1 agent cache hit % — — 68.65 69.25 69.42 供参考。
-
-
@空语 楼主你好，我把你这个贴子丢给dsh跑一遍，它给我这样回复了：
剩下那 24% 的 decode 缺口，只能拿到作者的 fork，或者自己改写 src/kernels/cuda/native_mmvq.cu 的 MMVQ 波前布局——那属于原创内核开发，不是复现了。
我的配置是7900xtx，cpu9700x，64g内存。感谢你的回复哈 -
-
-
-
其实不必非得编译 RDNA3 fork 0.1.43，用strata的0.1.45和0.1.54都行，只要让agent去借鉴一下strata rdna3的参数配置，一样能达到差不多的这个速度，也不影响引擎的升级。
@Y-G-0 这个是可以的， 我的agent也真的干了， 成功了。rdna3 的作者这几天也有基于新引擎的更新， 我也都测试了。 不过我的问题是，我用128g内存跑Q4_K_XL. 0.1.43引擎可以把PLE io 设成ram （差不多还剩10g的ram余量）， 是最快的。 引擎从某个版本开始， 对内存占用提高了，结果就是只能选direct或mmap，否则就是OOM，把东西挤回硬盘， 都没有原版rdna3设成ram快。 我估计很长一段时间内， 我都没法更新了， 不过这样也比原版strata快不少， 7900xtx单卡， 干长活60tps， 写一段简单代码80+tps
-
@Y-G-0 这个是可以的， 我的agent也真的干了， 成功了。rdna3 的作者这几天也有基于新引擎的更新， 我也都测试了。 不过我的问题是，我用128g内存跑Q4_K_XL. 0.1.43引擎可以把PLE io 设成ram （差不多还剩10g的ram余量）， 是最快的。 引擎从某个版本开始， 对内存占用提高了，结果就是只能选direct或mmap，否则就是OOM，把东西挤回硬盘， 都没有原版rdna3设成ram快。 我估计很长一段时间内， 我都没法更新了， 不过这样也比原版strata快不少， 7900xtx单卡， 干长活60tps， 写一段简单代码80+tps
-
-
