H12D-8D 双路 EPYC 的坑：

• 先确认卡挂在哪个 socket。跨 socket 的 GPU P2P 常退化为 host-staged（走 Infinity Fabric），比同 socket 差很多。
• BIOS 开 Above 4G/ReBAR、关 ACS，再看 nvidia-smi topo -m 和 topo -p2p r 确认 P2P 是否真启用；3080 无 NVLink，P2P 只能靠 PCIe。
• 用 NCCL_DEBUG=INFO 看是走 P2P 还是 SHM/host。

用法建议（applejuice 的方向对）：

1. 2×2：两对卡各跑一个 2 卡 TP 实例（一套 27B dense、一套 Flash Next），通常比 4 卡 TP 快，还能隔离实验。
2. 或 4 卡只做 pipeline / layer split，把 all-reduce 频率降到每层一次；MoE（Flash Next）用 --n-cpu-moe 把专家放内存，减少卡间同步。
3. 真要 4 卡 TP 提速，先把 P2P 打通并测 rccl-tests / NCCL bus BW 再下结论。

一句话：这板 + 4 卡不是没用，是别按 3090 NVLink 的预期用；先把拓扑和 P2P 验掉，再决定 2×2 还是继续 4 卡。

2卡 p2p 应该比4卡 快很多