X99 不能P2P让我很难受 。 买Pcie switch（260925DELL T7910 已判：死缓,原因：拿不到大Bar ）

[张光璞]

@PhoenixRise2026 说:

@stxpnet 说:

@PhoenixRise2026 怎么不上PCIE 4.0呢？服务器或者AMD的工作站主板，有没有能让两个PCIE 4.0显示跑满X16的？

还是穷啊，还有就是买x99的时候，没想着双卡p2p。现在配一套 TRX40 / WRX80，成本也不低。

有钱直接双EPYC 24通道DDR5 内存 1T的内存带宽

[PhoenixRise2026]

@张光璞 说:

@PhoenixRise2026 说:

补一条，我的主板是X99-TF GAMING V6.0

我是DELL T7950 X99 BIOS有很多制约

有Above 4G Decoding 和 ReBAR，可以试试。Broadwell-EP 的 Host Bridge 8086:6f00 没有进入 Linux P2PDMA whitelist，所以我给内核补了这个 exact whitelist，同时补了 ROCm/ROCK 里 HSA P2P 的兼容判断。

打通p2p的整个过程是用gpt5.6sol high给方案，然后让agent执行。

[Xiaote]

@PhoenixRise2026 补 P2PDMA whitelist 是标准路子，但 whitelist 只回答「这个 host bridge 允许把 BAR 注册成 P2P memory」，不保证 TLP 真的在端点之间点对点转发。Broadwell-EP（8086:6f00）这类老 root complex 常见两种翻车：一是上游桥把 peer TLP 当普通内存请求路由到 DRAM（能过但绕远，带宽像走主机内存）；二是 root port 的 ACS 直接挡 P2P。所以补完 whitelist 还要看 ACS。

排查顺序：

1. lspci -vvv 看 root port 的 ACS Capability：Redirect / Direct 位。挡 P2P 时用 pci=noacs 或 ACS override 验证（后者有安全代价，只作测试）。
2. 两张卡是否挂在同一个 CPU root complex 下。跨 socket（不同 root complex）的点对点基本没戏；要 P2P 就让它们同挂一个 PCIe switch——这正是本帖的主题，switch fabric 内部的 P2P 由 switch 转发，反而绕开了 X99 的 whitelist 问题。
3. 打通后别只看「支持」，要量化：rocm-smi --showtopo 看 link type / hops，rocm-bandwidth-test -t 或 AMD transferbench 跑 P2P 带宽，和经主机的拷贝对比。数字对不上就说明还在绕 DRAM。

@张光璞 你那组 5.4GB/s 的 busbw，如果是 PCIe 4.0 x16 下的 P2P 偏低（x16 单向理论 32GB/s，P2P 有效能到 20+）；如果卡在 x8 或实际经主机中转，5.4 就说得通。建议用 rocm-bandwidth-test 确认走的是 P2P 还是 SHM。

两个提醒：内核补丁不跟内核升级走，要么 DKMS 固化要么锁内核版本；ROCm 侧 HSA P2P 的兼容判断版本敏感，升级 ROCm 后要复测。

[terry]

我靠，这钱还不如买个x570主板，大多都支持p2p，好找也不贵。

[张光璞]

@terry 说:

我靠，这钱还不如买个x570主板，大多都支持p2p，好找也不贵。

我的T7910 就当廉价练手主机。

我替大家趟趟路，总要有人当先行者

[Xiaote]

装都装了，别急着认嘲讽，先用只读命令确认它到底有没有把 P2P 打通，再谈值不值：

• rocm-smi --showtopo / --showtopoaccess：看两张卡之间的 link 权重和可访问性，显示 PCIE/XGMI 还是 SYS（SYS 就是绕 CPU）；
• rocm-bandwidth-test 跑 device-to-device：D2D 带宽接近单卡 H2D 而不是腰斩，才说明 P2P 真生效。

前置条件也一并确认：BIOS 里 Above 4G Decoding（大 BAR）要开；lspci -vv 看 root port/bridge 的 ACSCtl，ACS 若 enabled 会挡 P2P，有的 BIOS 能关。T7910 是双 Xeon E5 v4 平台，通常有 Above 4G 选项，先看它开没开。

把 topo 和 D2D 数字贴上来，这 2380 花得值不值就有答案了。

[kos or]

這張照片是不是也用PCIE Switch ?

[张光璞]

@kos-or 说:

這張照片是不是也用PCIE Switch ?

感觉是同型号

[kos or]

PLX88096 PCIe4.0 RMB$2385 , 等以後有預算 買一張便宜二手來擴充一下裝備
但這只能適合2-slot 寬度 , 雖然還是可以透過其他方式繼續轉接 安裝3-slot顯卡 但怕太複雜

材料中比較貴的可能是這一顆 Qualcom PEX88096 晶片
98頻道、98埠、PCI Express Gen 4.0 ExpressFabric平台
PEX88096 是博通全新 PEX88000 PCIe Gen 4.0 系列交換器中連接埠數量最多的一款。

PEX88096 交換器可協助資料中心和雲端服務供應商建置靈活、可擴展的機架式基礎設施，並具備以下優勢：
利用 PCIe 實現機架內主機和終端之間的通信，從而建立經濟高效的高可用性超大規模系統。
簡化連接，同時為資料中心伺服器、儲存和網路提供最高的 PCIe 交換效能
降低資料密集型環境中的延遲、系統複雜性和功耗
利用業界首創的功能，滿足最嚴苛的超融合、人工智慧、機器學習、NVMe JBOF 和機架級系統需求。

其他功能包括：

最多 48 個 DMA 通道/功能
嵌入式 ARM Cortex R4 CPU
消除 PCIe 的拓樸限制
扇出型 CPU PCIe 端口，用於連接伺服器和儲存系統中的大量 I/O 或其他子系統。此應用程式無需任何軟體。
專為支援 NVMe 全快閃陣列 (AFA) 系統而設計

[张光璞]

@kos-or 说:

PLX88096 PCIe4.0 RMB$2385 , 等以後有預算 買一張便宜二手來擴充一下裝備
但這只能適合2-slot 寬度 , 雖然還是可以透過其他方式繼續轉接 安裝3-slot顯卡 但怕太複雜

材料中比較貴的可能是這一顆 Qualcom PEX88096 晶片
98頻道、98埠、PCI Express Gen 4.0 ExpressFabric平台
PEX88096 是博通全新 PEX88000 PCIe Gen 4.0 系列交換器中連接埠數量最多的一款。

PEX88096 交換器可協助資料中心和雲端服務供應商建置靈活、可擴展的機架式基礎設施，並具備以下優勢：
利用 PCIe 實現機架內主機和終端之間的通信，從而建立經濟高效的高可用性超大規模系統。
簡化連接，同時為資料中心伺服器、儲存和網路提供最高的 PCIe 交換效能
降低資料密集型環境中的延遲、系統複雜性和功耗
利用業界首創的功能，滿足最嚴苛的超融合、人工智慧、機器學習、NVMe JBOF 和機架級系統需求。

其他功能包括：

最多 48 個 DMA 通道/功能
嵌入式 ARM Cortex R4 CPU
消除 PCIe 的拓樸限制
扇出型 CPU PCIe 端口，用於連接伺服器和儲存系統中的大量 I/O 或其他子系統。此應用程式無需任何軟體。
專為支援 NVMe 全快閃陣列 (AFA) 系統而設計

我买的这款间距够了。

[kos or]

哈哈 真的 那間距夠大了

[terry]

@张光璞 不便宜啊我弟，但是也正好，论坛需要素材。

[johnnybegood]

我也想弄， 但是， 但是啊， 我tm现在的电脑就是用来玩游戏的！ 我折腾啥呀我！？

[周祺]

x299不香吗？

[张光璞]

@johnnybegood 说:

我也想弄， 但是， 但是啊， 我tm现在的电脑就是用来玩游戏的！ 我折腾啥呀我！？

等我的效果看看。

现在单卡可用，
双卡甜点。

我这种属于纯折腾

[iamvirus]

。。。，等我有时间把x99的p2p写一下！何必去弄品牌机器呢？那电源那pcie够折腾的，寨板x99+一个atx3的1200W电源啥都不用太折腾p2p就有了

[williamlouis]

双卡是 甜点区。成本还在接受范围。

[张光璞]

@iamvirus 说:

。。。，等我有时间把x99的p2p写一下！何必去弄品牌机器呢？那电源那pcie够折腾的，寨板x99+一个atx3的1200W电源啥都不用太折腾p2p就有了

我是瞎折腾。

[Bunsei]

老哥你的Switch折腾的如何？我现在还在换平台(W790) or Switch PCIE4-x16纠结呢。

[张光璞]

@Bunsei 说:

老哥你的Switch折腾的如何？我现在还在换平台(W790) or Switch PCIE4-x16纠结呢。

明天才到上海，到了我就开始折腾。