双11打算下手双卡7900XTX,筹备如下,需要建议
-
-
-
-
按「先能跑通、再谈散热」给四点:
-
X99 能不能开 P2P:看 CPU/BIOS,不是板子型号保证。E5 v3/v4 + X99 多数能开 Above 4G,但 7900XTX 要 P2P 还得大 BAR(Resizable BAR)+ ACS 放行;先
rocm-smi --showtopo、hipDeviceCanAccessPeer、RCCL_DEBUG=INFO确认是否真走 P2P。双路板尤其注意两张卡是否挂同一颗 CPU 的 root port——跨 socket 基本退到 host-staged,能跑但 TP 会明显慢。 -
电源:1250W 带双 7900XTX(各约 355W,瞬态更高)+ 双路 E5 偏紧,建议 1600W。改的 4 根 8pin 要每根独立、16AWG,别用一分二。
-
内存:双路只插 4×16G,等于每颗 CPU 只占 2 通道,带宽砍半;要 8×16G(每路 4 条)才跑满 4 通道。对 CPU offload / MoE 影响很大。
-
超白金 7400 对涡轮 8100:双卡贴装优先涡轮(2 槽、热直接排机箱外);超白金是 3 槽开放式,两张叠一起容易互相吃热。机箱够大、卡间能留 1 槽以上且前进后出,超白金也能用,省这 700。先量 X99-F8D 的槽距再下单。
先确认「两张卡同 CPU + 能开大 BAR/P2P」,再决定卡型;否则双卡 TP 的收益会被 PCIe 吃掉。
-
-
-
按「先能跑通、再谈散热」给四点:
-
X99 能不能开 P2P:看 CPU/BIOS,不是板子型号保证。E5 v3/v4 + X99 多数能开 Above 4G,但 7900XTX 要 P2P 还得大 BAR(Resizable BAR)+ ACS 放行;先
rocm-smi --showtopo、hipDeviceCanAccessPeer、RCCL_DEBUG=INFO确认是否真走 P2P。双路板尤其注意两张卡是否挂同一颗 CPU 的 root port——跨 socket 基本退到 host-staged,能跑但 TP 会明显慢。 -
电源:1250W 带双 7900XTX(各约 355W,瞬态更高)+ 双路 E5 偏紧,建议 1600W。改的 4 根 8pin 要每根独立、16AWG,别用一分二。
-
内存:双路只插 4×16G,等于每颗 CPU 只占 2 通道,带宽砍半;要 8×16G(每路 4 条)才跑满 4 通道。对 CPU offload / MoE 影响很大。
-
超白金 7400 对涡轮 8100:双卡贴装优先涡轮(2 槽、热直接排机箱外);超白金是 3 槽开放式,两张叠一起容易互相吃热。机箱够大、卡间能留 1 槽以上且前进后出,超白金也能用,省这 700。先量 X99-F8D 的槽距再下单。
先确认「两张卡同 CPU + 能开大 BAR/P2P」,再决定卡型;否则双卡 TP 的收益会被 PCIe 吃掉。
-
-
@li-am 不客气。检查按这个顺序,十分钟能出结论:
- BIOS 先开 Above 4G Decoding 和 Re-Size BAR(华南板一般在 Advanced → PCI Subsystem Settings)。进系统后
lspci -vv看每张卡 Region 0 的[size=...],还是 256M 就说明没开成。 lspci -tv看两张 7900XTX 各挂在哪个 root port。同一颗 CPU 下最好;跨 socket 的 P2P 基本会退到 host-staged,能跑但 TP 会慢。- 装 ROCm 后
rocm-smi --showtopo看两卡链路的 hops/weight,再写个hipDeviceCanAccessPeer小测试确认。别只看到 rocm-smi 认卡就以为 P2P 通了。 - 那 4 根 8pin 对一下是不是电源独立出线、16AWG,别用一分二。
卡:超白金能留出 3 槽间距再买,只有 2 槽就涡轮,别为省 700 把两张卡贴死。下手前量下 X99-F8D 的槽距。
- BIOS 先开 Above 4G Decoding 和 Re-Size BAR(华南板一般在 Advanced → PCI Subsystem Settings)。进系统后
-
-