双R9700 P2P+双卡TP 方案总结

[Xiaote]

总结得很到位，补三条落地核查，免得照方抓药踩坑：

1. P2P 的真正判据是「root complex 能不能直通」，不是只看 BIOS 选项
装好后实测两条：

• rocm-smi --showtopo（看两卡 weight/hops，同 root complex 应为 1 跳）
• 跑一段 hipDeviceCanAccessPeer，或用 RCCL_DEBUG=INFO 看 all-reduce 走的是 P2P 还是 SHM/host
  Above 4G + ReBAR 解决 64 位 BAR 寻址；但若拓扑中间有 switch/桥，还要看 **ACS（Access Control Services）**是否把 P2P 挡了——不少主板默认开 ACS，需要在 BIOS 关掉（或内核做 acs override）。

2. 「必须 PCIe 3.0 x16 直通」可以放宽
双卡 TP 的本质瓶颈是 all-reduce 带宽。x8/x8 的 PCIe 4.0/5.0 带宽对 Qwen3.8-27B 这种量级已经够用，不必为了 x16 硬上老平台。关键是两条槽都接 CPU、能拆成 x8/x8，而不是非得 x16。

3. ReBAR 是「能互相看见」的必要条件，但不是全部
RDNA4 两卡要互相访问对方显存，ReBAR + Above4G 是前提；但 ReBAR 开着却仍不走 P2P 的常见原因，就是 ACS 没关、或第二槽其实走芯片组。下单前先量槽距和走线。

对照参考：topic/1925 有一份跨 Root Port P2P 的完整实战记录，可以和这份总结互补。

[suboyang]

@Xiaote

ACS 没关? 这个是什么？

[Magic629]

@suboyang 感谢分享、指导。

[jimmy zhang]

请问 X99主板老化、掉卡的风险有多大？运行可靠性如何？

[Kang Benyuan]

X99-tf应该也支持,但是好像要刷鸡血的BIOS

[Xiaote]

@suboyang ACS = Access Control Services，PCIe 规范里的访问控制，本来是给带 switch/桥的拓扑做设备隔离（IOMMU 分组、热插拔、SR-IOV 安全场景）用的。它默认会拦「不经过根复合体（RC）的对等访问」，也就是 GPU 之间的 P2P DMA。对设备隔离是对的，但你本机两卡互访要的就是 P2P，所以它成了拦路虎：哪怕两卡在同一个 root complex 下、BIOS 也开了 Above 4G + ReBAR，只要路径上有一个默认开 ACS 的桥/switch 端口，hipDeviceCanAccessPeer 仍可能返回 0，P2P 就退回 host-staged（走内存中转）。

怎么定位和处理：

1. 别只信 BIOS 选项：rocm-smi --showtopo 看两卡 weight/hops，再跑一段 hipDeviceCanAccessPeer，或用 RCCL_DEBUG=INFO 看 all-reduce 走的是 P2P 还是 SHM。
2. lspci -vvv 找路径上的 bridge，看 ACSCap / ACSCtl——ACSCtl 里出现 SrcValid+ ... 这类就是它在挡。
3. BIOS 里一般有 ACS Enable / Access Control Services，能找到就关。
4. 没选项时 Linux 侧常用 pci=acs_override（或按 PCI 地址用 setpci/内核补丁改 ACS Control 位）。
5. 关 ACS = 拿设备间隔离换 P2P 性能，本机自用/可信环境再关；有其它租户或多用户就别关。

补一句：如果两卡各自直连 CPU 的两个 root port、中间没有桥，那 ACS 根本不参与，关不关都一样，别白折腾。

[Xiaote]

X99（2014 年的 Haswell-EP/Broadwell-EP + C612）今天最大的风险不是性能够不够，而是主板的供电与 PCB 老化，以及二手板/延长线的接触问题。分开说：

一、掉卡的常见原因（多为链路/供电，不是 CPU 老）

• 接触：金手指或插槽氧化 → 重插、擦金手指、换槽。
• 延长线/riser：老平台对信号完整性更敏感，延长线折弯/劣质线最容易掉卡 → 先直插对比。
• 电源老化：12V 纹波变大、单路多卡瞬态触发 OCP → 换新电源、每卡独立供电线。

二、真正不可逆的是主板 VRM 老化

• 电解电容 ESR 上升，供电相数少的板长期带高功耗卡容易掉压、死机、重启。
• 检查：鼓包电容、焦味、VRM 散热片温度；EP5 v3 可关 Turbo 或用 RAPL 限功耗，能明显延长寿命。
• 内存这块反而稳：ECC REG RDIMM 自带纠错，比消费平台可靠，不是短板。

三、可靠性预期

• 当学习/实验平台没问题；当 7×24 生产要打折扣。
• 做生产至少：GPU 单独一路供电、加 UPS、数据离机备份；每 3–6 个月清灰换硅脂、查风扇。
• 别刷来路不明的「鸡血 BIOS」（楼下提到的 X99-TF 那种）：改电压/倍频/微码有变砖风险，收益也有限；自用图稳，默认 + 限功耗更划算。

一句话：二手 X99 当 AI 玩具可以，前提是「板子随时可能坏、你能随时换板/换平台」；别把唯一的生产机押上去。

[suboyang]

现在最大的问题是，Qwen3.8-27B-MXFP4 这类模型，我还没有看到双卡 R9700 可以稳定100t/s 以上的，尤其是250K上下文的测试，如果在250K 还能保持80~100t/s，本地模型部署才有意义，要不然干活太慢了，这个时间等不起。

[fcme]

@suboyang
我的单卡9700现在都稳定在100tps左右了，如果双卡p2p的话，怎么着也得在160左右了吧。这个如果搞成了还是挺让人兴奋的的！

[fcme]

我是收的老服务器，这个貌似也是支持的（27B还在研究中）。回头真的可能考虑再入一张9700，将来这个卡可能真的成为一代神卡。

[suboyang]

@fcme 就怕双卡TP 拉稀啊。

https://github.com/mattbucci/2x-R9700-RDNA4-GFX1201-sglang-inference

这个sglang 双卡才20t/s多，就算加上dflash2,也就40t/s。 如果是这样，双卡TP就没有折腾的必要。

我认为双卡TP 本地模型，需要保持在150t/s，才有折腾的必要，否则就没有生成力啊。玩玩image 还行。

[applejuice]

没有mtp 没有 dflash 3090 双卡才80多 r9700 宽带都没有3090 强
不可能有150 吧

[suboyang]

@applejuice 所以要比单卡3090 和单卡r9700速度 以及双卡tp. 就算没有150t/s 120也要的吧。双卡tp 只有58t/s ，那r9700双卡tp 可以不用折腾了。

[kos or]

@fcme

你也用5070 Ti, 可嘗試NInfer 速度快75% 以上

[fcme]

@kos-or
我5070ti现在基本处于闲置备用的状态，折腾的意义没有9700大呢 等我闲了看看

[fcme]

@suboyang
SGLANG 对AMD的民用卡非常非常不友好！

[suboyang]

@fcme

按说这个sglang方案是没有问题的
https://github.com/StevenChenSE/sglang/tree/gfx1100-support#chinese

双卡7900xtx 跑出了这样的水平，R9700 应该更高才对。

[applejuice]

@suboyang
按硬件能力来说
r9700 不可能 超过7900xtx 毕竟带宽差了50%

还是那句话r9700 突然爆火
是因为社区把fp8利用起来 prefill 推高了
decode 还是被带宽限制了

如果没有dflash2 没有mtp
r9700 decode 惨不忍睹
而在实际用途 decode成绩 绝对不会是测试的那么漂亮

@xiaote 纠正我如果我错了

[suboyang]

@applejuice

但是带宽影响比较大的是视频生成，和语音生成。大模型TP未必这么敏感，这个还得有人测。主要成本实在太高，要不然我自己早上手了。

[applejuice]

@suboyang 视频对vram 大小 带宽都有要求

只是vram更重要因为大小决定了可以生成更长的视频