实机与推理配置

这是本机打开侧板的实拍，可以看到 X99 主板和上下排列的两张显卡。具体型号、链路和性能仍以系统读取与实测记录为准。

• CPU：Xeon E5-2696 v3；主板：HUANANZHI X99-TF GAMING；内存：128 GB DDR4。
• GPU：双 AMD Radeon AI PRO R9700，各 32 GB。两卡分别经 CPU 根端口，主机上行实读均为 PCIe 3.0 ×16；GPU 内部叶节点显示 Gen5，不等于主机上行 Gen5。
• Ubuntu、内核 7.0.0-34；StillDeadcode Radiance 0.9.3 / vLLM 0.27.1。
• Qwen3.8-27B 公开 NVFP4 权重，加载时转 MXFP4 W4A8；DFlash2-FP8 草稿 7 token；TP=2；304/304 线性层使用定制内核，48/48 GDN merge；FP8 KV、6-bit 通信压缩。
• maxlen 262144，每卡固定 8 GiB KV，实际池容量约 441K token。最深仅测到约 94K 实际输入，没有复刻参考文章约 797K 的 KV 池。

与参考文章的变量差异

参考文章的数据来自作者正文及此前记录，没有取得原始 JSON，也没有在本轮重新读取其完整页面。尤其是 L16 差异，不足以证明 PCIe 3.0 或旧 CPU 更快。

PCIe 3.0 / 4.0 / 5.0：×8、×16 理论值与实测

下表是每条链路单方向、十进制 GB/s 的编码后理论上限，按 PCI-SIG 给出的 8/16/32 GT/s 和 128b/130b 编码计算：GT/s × 128/130 × 通道数 ÷ 8。它尚未扣除 PCIe 事务包等开销；也不是双向合计值。

本机 PCIe 3.0 ×16 的大块直接 P2P 写入实测约 10.27 GB/s/方向，约为其 15.75 GB/s 编码后理论值的 65%；这是含 GPU 内核和事务开销的应用层吞吐，不等于 PCIe 裸链路效率。双向同时写的 19.67 GB/s 是两个方向的合计，不能与表中单向理论值直接相比。参考文章 Gen5 ×8 的同口径 P2P 实测未取得，故不能据理论两倍推断实跑两倍。Gen3 ×16 与 Gen4 ×8 理论同速；Gen4 ×16 与 Gen5 ×8 理论同速。

原生 P2P：这台 X99 不需要强制补丁

Triton 内核向另一张卡的设备地址直接写入，4 KiB 到 256 MiB 双向逐元素校验通过。大块单向约 10.27 GB/s，双向同时写合计约 19.67 GB/s。20 MiB 每卡输入的独立归约中，RCCL 约 4.70 GB/s，未压缩推送 P2P 约 9.38 GB/s；归约吞吐口径不能当成 PCIe 复制带宽。

本机没有打 pcie_p2p_force 补丁，也没有修改 disable_acs 或 iommu 参数。结论只覆盖测过的 peer write 与归约路径，不代表所有 peer read 或跨卡 atomic 都可用。

BetterBench 0.4.0：230 W / 300 W 对照

使用 BetterBench 0.4.0、corpus 1.0。每类 3 次预热 + 20 次正式请求；prefill 每深度 2 + 8；并发 L1/2/4/8/16 各 48 次。每档 484 次、两档共 968 次请求，API 错误与中止均为 0。两档之间重启引擎，前缀缓存命中为 0。Decode/并发默认随机采样，温度 0.7，未固定 seed。

本机六档输入的 prefill：

同为 230 W，本机加权 decode 高约 6.6%，94K prefill 高约 4.6%，L8 吞吐高约 8.8%。这些是观测差值，没有统计显著性检验。参考文章的完整配置和原始 JSON 未取得，尤其不能把 L16 的差距解释成旧 CPU 比新 CPU 更强。速度包含思考 token；首字可能只是思考内容，并非首个最终答案。

升级判断与局限

同机固定模型等条件，RCCL / 未压缩 P2P / 压缩 P2P 的 49.1K 冷输入首字中位分别为 26.16 / 16.70 / 12.43 秒。这是另一个 297 请求的自定义矩阵，不能与上表 BetterBench 横向混算。

Profiler 中压缩 P2P 通信内核约占 GPU 活动时间 25–26%。即使假设整个通信时间减半，GPU 侧理想提速也仅约 14–15%；这是简化估算，不是换 Gen5 的实测收益。Gen5 ×8 理论带宽约为 Gen3 ×16 的两倍，端到端模型速度不会自动翻倍。300 W 相比 230 W，94K prefill 高约 6%，decode 仅高约 0.7%，差值还包含随机输出波动。

另外，230 W 正式单流有 73/160 次、300 W 有 76/160 次在输出上限内仍未出现可见答案。HTTP 成功和 token/s 高，不等于代码质量或真实任务完成率。本轮未验收代码正确率、262K 长会话、视觉能力或长期稳定性。

如果后续换平台，我会先用真实 agent 工作负载定位瓶颈，再选择两卡 CPU 直连的平台，重新测同一套语料；不会拿理论链路速率代替实测。

版本与致谢

PCIe 速率依据 PCI-SIG 5.0 FAQ 和 PCI-SIG 3.0 FAQ。配方来自 ggz14 的 radiance-vllm-mxfp4；测试工具是 BetterBench 0.4.0。参考文章作者“野生模型实验室”的双 R9700 测试给了我比较目标。感谢这些开源项目和社区经验。原始报告与可公开统计附件已整理，实机照片和三张图已附在正文。