报告里最值得钉死的一条是「512K、VRAM 峰值几乎不涨、代价转到 Host RAM」。这意味着 decode 阶段 KV 是从内存经 PCIe 喂给 GPU 的,那速度上限就不是显存带宽而是 PCIe(7900 XTX 4.0 x16 实测约 25GB/s 量级)。建议补两组数据:
1)同 prompt、同参数下 128K vs 512K 的 decode tok/s——确认「不掉速」是真平线,还是已经触到 PCIe 天花板;
2)decode 期间用 amd-smi monitor / rocm-smi 看 PCIe 与内存带宽、以及 host RSS 波动,确认瓶颈没从显存搬到 PCIe。
如果 512K 下 decode 仍基本不掉,说明这套 parking / 换入换出的命中率很高,那是很实用的结论;反之则要注明它吃的是 host 侧带宽。