抡锤者

@909 说:

我的实际配置和测试情况如下，供参考。（AI生成）

硬件与模型

• Intel Xeon E5-2696 v4，X99 主板，内存约 126 GiB
• 2 张 AMD Radeon RX 7900 XTX，每张 24 GB 显存
• 模型：Qwen3.8-Flash-Next GSQ-RCO Abliterated IQ3_XXS
• Strata v0.1.43，MTP-4、KV int8，最大上下文 256K

双卡单实例：双卡自动层切分

两张卡共同运行一个模型实例，处理一条对话。

• 短输入单请求实测约 60.6 tok/s
• 最近一次长上下文请求：输入约 133K tokens（约 132K 命中上下文缓存），生成 3,448 tokens，耗时约 60.6 秒，约 56.9 tok/s
• 这是单请求测试，没有多请求并发

双卡双副本：每张卡各跑一个实例

两张卡分别运行独立模型副本，同时处理两个对话。

• 双请求并发时，每条请求约 85–94 tok/s
• 两条请求合计约 142 tok/s；首轮冷缓存约 110 tok/s
• 这是短输入并发测试，测的是两个请求的总吞吐，不是单条对话达到 142 tok/s

单卡情况

目前没有在这台机器上完成单卡 Strata 的独立测速，因此没有可比较的单卡实测数据。上述双副本测试虽然每个副本各用一张卡，但它测的是两个独立请求并发，不能当作单卡单请求成绩。

我的使用方式以单人单对话为主，目前采用双卡单实例层切分；双副本主要适合多用户或多个独立对话并发。

按楼主和29楼思路做了三步控制变量：统一测试口径、全量重编译 ROCm 10.1、换同款 IQ3_S。结果编译头文件才是主变量：现役二进制（7.1 shim 头编译）双路每路塌到 37 上下，换 10.1 全量头重编译后每路 72，聚合直接翻倍。IQ3_XXS与IQ3_S 两轮之间整机重启了一次导致数字偏低。

剩余差距在内存带宽或其他设置（如温度）：CD3 双通道 DDR3 实测 21.8GB/s。配置：E5-2673 v3+128G DDR3+双 7900XTX，双单卡 replicas，262K。

我就是这个 ROCm 项目的移植者，这个移植基本上要放弃了。涉及内核层的地方 AMD 水太深，不如试试 hipfire。
这个构筑跑 Bonsai2 NInfer v2 的无投机解码也不到 60-70 token/s。

补充一下你测到的长上下文掉速：这版移植的 attention 是 SIMT 逐 key 环，没有 flash-attention 分块，长上下文下 prefill 和生成会随 key 数近似线性退化。这是结构短板，项目已经暂停，不会再修了。

口径说明：上面 60-70 是 Bonsai2 PQ2 工件（2.13 bit）的无投机数字；你测的 AMD 列是官方 v2 工件（Q4/Q5/Q6，20 GB），权重和量化不同，不能直接对表。官方 v2 工件在这版移植上我们只做过短测，nospec 约 34 token/s，长上下文同样受 attention 结构限制。

最新单卡实测（greedy、int8 KV；NInfer 数字取 10 对交错或 3 跑中位，PQ2 工件）：

几点口径说明：

• 主门 103.8 来自 3080Ti 的 serve MTP d2 中文，跨卡跨工件，只当标尺用。
• 同为 7900XTX，hipfire 官方数据 AR 51.63 / MTP 87.52 / DFlash 131.69，但它是 4.458 bpw 工件，我们这套是 2.13 bit 的 PQ2，不是同质量口径，仅供参考。
• 你测的 64K 638.6 秒、生成 11.7 t/s，和上面的长上下文短板描述一致。