我之前也以为 X99 基本没法搞 P2P，甚至已经在看 TRX40 / WRX80 和 PCIe Switch 板子了。

不过最近在 E5-2697A v4 + X99 + 双 R9700 上实际折腾下来，已经把跨 Root Port 的 Direct P2P 跑通了。

这件事不是改一个开关就行，我这边大概做了下面几层。

1. 先确认硬件拓扑没问题

两张 R9700 都是 CPU 直出的 PCIe 3.0 x16，但挂在不同的 Broadwell Root Port 下。

基础设置：

• Above 4G Decoding 开
• ReBAR 开
• CSM 关
• 两张卡确认都是 8GT/s x16
• 检查 BAR / IOMMU / PCIe topology

另外把整条 PCIe Path 的 MPS 都查了一遍。

X99/Broadwell Root Port 最大只支持 256B MPS，所以最终就保持256B，没有去强行改512/1024。

---

2. 先解决 AMDGPU / HSA 层面的跨 Root Port P2P

Broadwell-EP 这里有个比较麻烦的问题：

跨 Root Port P2PDMA + 44-bit DMA address / 大 BAR 映射 默认并不顺畅。

我这边最后使用了定制的：

6.8.12-r9700-p2p-dma44

内核，把 X99/Broadwell 这层 P2P DMA 映射问题处理掉。

之后先不碰 SGLang，直接做底层测试。

HIP IPC 也单独验证过，使用：

HSA_ENABLE_IPC_MODE_LEGACY=0

两张卡之间的 IPC 可以正常建立。

然后用 TransferBench / hipMemcpyPeerAsync 验证真正的 GPU→GPU 数据通路。

实测：

• GFX Push / Posted Write：约 10.29 GB/s
• SDMA / hipMemcpyPeerAsync：约 10.26～10.29 GB/s
• 双向同时传输 aggregate：约 19.7 GB/s

也就是说 PCIe 3.0 x16 的跨 Root Port P2P 实际已经跑到了比较正常的水平。

这里很重要的一点是：

先证明 GPU P2P 本身能工作，再折腾 RCCL。

---

3. RCCL 是第二个坑

底层 P2P 通了以后，Stock RCCL 还是不会自动使用它。

原因是两张卡跨 CPU Root Port，RCCL 把拓扑识别为：

PATH_PHB

Stock RCCL 会退回：

via SHM/direct/direct

也就是说底层明明能 P2P，但 RCCL 还是绕系统内存。

当时实测：

• Stock RCCL SendRecv 1G：约 6.9 GB/s
• AllReduce BusBW：约 4.5 GB/s

所以还需要处理 RCCL。

---

4. 给 RCCL 做了一个很小的 patch

我现在用的是 patched RCCL 2.27.7。

修改其实很小，在：

src/graph/paths.cc

里只有大约 6行顺序调整。

核心问题是 RCCL 对 Intel 平台设置默认 P2P level 的顺序，会把用户指定的 PHB override 覆盖掉。

修改后，让：

NCCL_P2P_LEVEL=PHB

成为最终生效值。

这里要注意：

只设置环境变量没用。

我实际验证过：

• Stock RCCL + NCCL_P2P_LEVEL=PHB → 还是 SHM
• Patched RCCL，不设置 PHB → 还是 SHM
• Patched RCCL + NCCL_P2P_LEVEL=PHB → Direct P2P

两者必须同时有。

我没有使用：

HSA_FORCE_FINE_GRAIN_PCIE=1

---

5. RCCL Direct P2P 打通后的结果

还是同一套 rccl-tests：

• SendRecv 1G：约 9.75 GB/s
• AllReduce BusBW：约 9.51 GB/s
• AllGather BusBW：约 9.16 GB/s
• ReduceScatter BusBW：约 8.92 GB/s

SendRecv 已经达到 TransferBench P2P Push 的约95%。

这时候基本可以确认：

RCCL 已经不是 SHM，而是真正走 GPU Direct P2P。

---

6. 最后再接 SGLang TP2

SGLang 启动后继续检查日志，不只是看“服务能跑”。

现在能够看到类似：

isAllDirectP2p 1

以及：

via P2P/IPC

确认 TP2 通信真正走 Direct P2P。

目前跑 Qwen3.8-27B AWQ，已经从1K一直测到251.5K context：

• 251.5K Prefill：约 712 tok/s
• 251.5K Native Decode：约 10.08 tok/s
• 251.5K input + 512 output：0 OOM

连续高负载测试也没有看到 PCIe AER、GPU reset 或 P2P掉线。

---

所以我现在对 X99 的看法和最开始完全不一样。

X99/Broadwell 不是硬件上完全不能 P2P，而是默认的软件路径很难直接用。

我这边实际上处理了两层：

第一层：
X99/Broadwell + AMDGPU/HSA 的跨 Root Port P2P DMA。

第二层：
让 RCCL 接受 PATH_PHB 下的 Direct P2P，而不是自动退回 SHM。

两层都打通以后，PCIe 3.0 x16 本身反而没有想象中那么差。

所以如果你的X99也是两张卡 CPU直连 x16+x16，我建议先把现有平台的 P2P 路径查清楚，不一定需要马上买 PCIe Switch。

Switch可以改善拓扑，但如果真正的问题是 AMDGPU / RCCL 软件策略，单纯加Switch未必就能解决。

后面我准备把 X99 双 R9700 从内核、TransferBench、RCCL到SGLang TP2的完整过程整理一下，应该比单独贴一个“跑通了”的结果更有参考价值。