X99 不能P2P让我很难受 。 买Pcie switch（260925DELL T7910 已判：死缓,原因：拿不到大Bar ）
-
装都装了，别急着认嘲讽，先用只读命令确认它到底有没有把 P2P 打通，再谈值不值：
- rocm-smi --showtopo / --showtopoaccess：看两张卡之间的 link 权重和可访问性，显示 PCIE/XGMI 还是 SYS（SYS 就是绕 CPU）；
- rocm-bandwidth-test 跑 device-to-device：D2D 带宽接近单卡 H2D 而不是腰斩，才说明 P2P 真生效。
前置条件也一并确认：BIOS 里 Above 4G Decoding（大 BAR）要开；lspci -vv 看 root port/bridge 的 ACSCtl，ACS 若 enabled 会挡 P2P，有的 BIOS 能关。T7910 是双 Xeon E5 v4 平台，通常有 Above 4G 选项，先看它开没开。
把 topo 和 D2D 数字贴上来，这 2380 花得值不值就有答案了。
-
PLX88096 PCIe4.0 RMB$2385 , 等以後有預算 買一張便宜二手來擴充一下裝備
但這只能適合2-slot 寬度 , 雖然還是可以透過其他方式繼續轉接 安裝3-slot顯卡 但怕太複雜材料中比較貴的可能是這一顆 Qualcom PEX88096 晶片
98頻道、98埠、PCI Express Gen 4.0 ExpressFabric平台
PEX88096 是博通全新 PEX88000 PCIe Gen 4.0 系列交換器中連接埠數量最多的一款。
PEX88096 交換器可協助資料中心和雲端服務供應商建置靈活、可擴展的機架式基礎設施，並具備以下優勢：
利用 PCIe 實現機架內主機和終端之間的通信，從而建立經濟高效的高可用性超大規模系統。
簡化連接，同時為資料中心伺服器、儲存和網路提供最高的 PCIe 交換效能
降低資料密集型環境中的延遲、系統複雜性和功耗
利用業界首創的功能，滿足最嚴苛的超融合、人工智慧、機器學習、NVMe JBOF 和機架級系統需求。其他功能包括：
最多 48 個 DMA 通道/功能
嵌入式 ARM Cortex R4 CPU
消除 PCIe 的拓樸限制
扇出型 CPU PCIe 端口，用於連接伺服器和儲存系統中的大量 I/O 或其他子系統。此應用程式無需任何軟體。
專為支援 NVMe 全快閃陣列 (AFA) 系統而設計 -
PLX88096 PCIe4.0 RMB$2385 , 等以後有預算 買一張便宜二手來擴充一下裝備
但這只能適合2-slot 寬度 , 雖然還是可以透過其他方式繼續轉接 安裝3-slot顯卡 但怕太複雜材料中比較貴的可能是這一顆 Qualcom PEX88096 晶片
98頻道、98埠、PCI Express Gen 4.0 ExpressFabric平台
PEX88096 是博通全新 PEX88000 PCIe Gen 4.0 系列交換器中連接埠數量最多的一款。
PEX88096 交換器可協助資料中心和雲端服務供應商建置靈活、可擴展的機架式基礎設施，並具備以下優勢：
利用 PCIe 實現機架內主機和終端之間的通信，從而建立經濟高效的高可用性超大規模系統。
簡化連接，同時為資料中心伺服器、儲存和網路提供最高的 PCIe 交換效能
降低資料密集型環境中的延遲、系統複雜性和功耗
利用業界首創的功能，滿足最嚴苛的超融合、人工智慧、機器學習、NVMe JBOF 和機架級系統需求。其他功能包括：
最多 48 個 DMA 通道/功能
嵌入式 ARM Cortex R4 CPU
消除 PCIe 的拓樸限制
扇出型 CPU PCIe 端口，用於連接伺服器和儲存系統中的大量 I/O 或其他子系統。此應用程式無需任何軟體。
專為支援 NVMe 全快閃陣列 (AFA) 系統而設計PLX88096 PCIe4.0 RMB$2385 , 等以後有預算 買一張便宜二手來擴充一下裝備
但這只能適合2-slot 寬度 , 雖然還是可以透過其他方式繼續轉接 安裝3-slot顯卡 但怕太複雜材料中比較貴的可能是這一顆 Qualcom PEX88096 晶片
98頻道、98埠、PCI Express Gen 4.0 ExpressFabric平台
PEX88096 是博通全新 PEX88000 PCIe Gen 4.0 系列交換器中連接埠數量最多的一款。PEX88096 交換器可協助資料中心和雲端服務供應商建置靈活、可擴展的機架式基礎設施，並具備以下優勢：
利用 PCIe 實現機架內主機和終端之間的通信，從而建立經濟高效的高可用性超大規模系統。
簡化連接，同時為資料中心伺服器、儲存和網路提供最高的 PCIe 交換效能
降低資料密集型環境中的延遲、系統複雜性和功耗
利用業界首創的功能，滿足最嚴苛的超融合、人工智慧、機器學習、NVMe JBOF 和機架級系統需求。其他功能包括：
最多 48 個 DMA 通道/功能
嵌入式 ARM Cortex R4 CPU
消除 PCIe 的拓樸限制
扇出型 CPU PCIe 端口，用於連接伺服器和儲存系統中的大量 I/O 或其他子系統。此應用程式無需任何軟體。
專為支援 NVMe 全快閃陣列 (AFA) 系統而設計我买的这款间距够了。
-
，
T terry 固定了此主题
-
我也想弄， 但是， 但是啊， 我tm现在的电脑就是用来玩游戏的！ 我折腾啥呀我！？
-
双卡是 甜点区。成本还在接受范围。
-
，T terry 分叉了 此主题
-
，系统 取消固定了此主题
-
-
