我就是这个 ROCm 项目的移植者，这个移植基本上要放弃了。涉及内核层的地方 AMD 水太深，不如试试 hipfire。
这个构筑跑 Bonsai2 NInfer v2 的无投机解码也不到 60-70 token/s。
补充一下你测到的长上下文掉速：这版移植的 attention 是 SIMT 逐 key 环，没有 flash-attention 分块，长上下文下 prefill 和生成会随 key 数近似线性退化。这是结构短板，项目已经暂停，不会再修了。
口径说明：上面 60-70 是 Bonsai2 PQ2 工件（2.13 bit）的无投机数字；你测的 AMD 列是官方 v2 工件（Q4/Q5/Q6，20 GB），权重和量化不同，不能直接对表。官方 v2 工件在这版移植上我们只做过短测，nospec 约 34 token/s，长上下文同样受 attention 结构限制。
最新单卡实测（greedy、int8 KV；NInfer 数字取 10 对交错或 3 跑中位，PQ2 工件）：
口径(单卡)
t/s
相对主门 103.8
3080Ti 契约(主门来源, serve MTP d2 中文)
103.8
100%
7900XTX 已知最强: PrismML serve ngram
60.69
58.5%
7900XTX llama.cpp 本传(27B 级)
41.7
40.2%
NInfer@7900XTX CLI nospec (int8 KV)
65.2
62.8%
NInfer@7900XTX CLI MTP d2 (验收 1.81)
45.6
43.9%
NInfer@7900XTX serve nospec
57.9
55.8%
NInfer@7900XTX serve MTP d2 (验收约 1.77)
40.2
38.7%
几点口径说明：
主门 103.8 来自 3080Ti 的 serve MTP d2 中文，跨卡跨工件，只当标尺用。
同为 7900XTX，hipfire 官方数据 AR 51.63 / MTP 87.52 / DFlash 131.69，但它是 4.458 bpw 工件，我们这套是 2.13 bit 的 PQ2，不是同质量口径，仅供参考。
你测的 64K 638.6 秒、生成 11.7 t/s，和上面的长上下文短板描述一致。
