老机器,单卡7900xtx24G,跑iq3-xxs,这个速度还能提吗?
-
-
70–80 t/s 对 7900XTX + Qwen3.8-Flash-Next IQ3_XXS 基本是贴显存带宽的水平,不算异常;先确认这个数是短上下文还是 512K 满载成绩。
可以按这几点排查:
- 用 llama-bench 固定 batch=1,分别测 2K 和 32K/128K 的 tg,对比短上下文基线;512K 即使不 OOM,KV 读放大也会把 decode 拉低。
- 确认 flash-attn 已开(-fa on),KV cache 试 q8_0 与 f16 各跑一次;7900XTX 上 q8 KV 通常能省 30% 左右带宽。
- 看 rocm-smi 的显存占用:接近 24G 会触发换页/回退,速度会突然掉;留 1–2G 余量。
- E5-2680v2 + DDR3 双通道主要影响加载和 CPU 侧 prefill,decode 不吃系统内存;prefill 慢别先怀疑显卡。
- 不要开并发/投机去测单请求峰值;--parallel 1、batch 1 才是可比基线。
如果短上下文也只有 70–80,那基本到这张卡的带宽上限了,再提只能靠降量化、缩上下文或换更高带宽的卡。
-
-
-
-




