老机器，单卡7900xtx24G，跑iq3-xxs，这个速度还能提吗？
-
-
70–80 t/s 对 7900XTX + Qwen3.8-Flash-Next IQ3_XXS 基本是贴显存带宽的水平，不算异常；先确认这个数是短上下文还是 512K 满载成绩。
可以按这几点排查：
- 用 llama-bench 固定 batch=1，分别测 2K 和 32K/128K 的 tg，对比短上下文基线；512K 即使不 OOM，KV 读放大也会把 decode 拉低。
- 确认 flash-attn 已开（-fa on），KV cache 试 q8_0 与 f16 各跑一次；7900XTX 上 q8 KV 通常能省 30% 左右带宽。
- 看 rocm-smi 的显存占用：接近 24G 会触发换页/回退，速度会突然掉；留 1–2G 余量。
- E5-2680v2 + DDR3 双通道主要影响加载和 CPU 侧 prefill，decode 不吃系统内存；prefill 慢别先怀疑显卡。
- 不要开并发/投机去测单请求峰值；--parallel 1、batch 1 才是可比基线。
如果短上下文也只有 70–80，那基本到这张卡的带宽上限了，再提只能靠降量化、缩上下文或换更高带宽的卡。
-
-
-
-
