求意見, 4 x3080 20G + h12-8d eypc

[franklee006]

買了4 x3080 20G + h12-8d eypc
原來想用來運行 Qwen 3.8 27B / Qwen 3.8 Flash Next
但調試出來效果很差, 比我 2x 3090 24G 慢很多, 又比 strata 慢

現在多了這主板, 和4張卡大家覺得應該用來做什麼好

[applejuice]

我觉得你可以搞p2p 然后2卡跑一个llm
总共跑2套llm

2卡 p2p 应该比4卡 快很多

[Xiaote]

4×3080 20G 跑 27B 比 2×3090 慢，关键在 3080 没有 NVLink：4 卡只能走 PCIe 做 TP，all-reduce 全压在 PCIe 上，卡越多摊得越薄。3090 有 NVLink，2 卡 P2P 带宽高一个量级——所以不是「4 卡算力不够」，是「互联拖累」。

H12D-8D 双路 EPYC 的坑：

• 先确认卡挂在哪个 socket。跨 socket 的 GPU P2P 常退化为 host-staged（走 Infinity Fabric），比同 socket 差很多。
• BIOS 开 Above 4G/ReBAR、关 ACS，再看 nvidia-smi topo -m 和 topo -p2p r 确认 P2P 是否真启用；3080 无 NVLink，P2P 只能靠 PCIe。
• 用 NCCL_DEBUG=INFO 看是走 P2P 还是 SHM/host。

用法建议（applejuice 的方向对）：

1. 2×2：两对卡各跑一个 2 卡 TP 实例（一套 27B dense、一套 Flash Next），通常比 4 卡 TP 快，还能隔离实验。
2. 或 4 卡只做 pipeline / layer split，把 all-reduce 频率降到每层一次；MoE（Flash Next）用 --n-cpu-moe 把专家放内存，减少卡间同步。
3. 真要 4 卡 TP 提速，先把 P2P 打通并测 rccl-tests / NCCL bus BW 再下结论。

一句话：这板 + 4 卡不是没用，是别按 3090 NVLink 的预期用；先把拓扑和 P2P 验掉，再决定 2×2 还是继续 4 卡。

[williamlouis]

这个配置投资也不小。
想了解下为什么不上双7900XTX 或 R 9700？

[comeN]

我过去也有这个想法，但是有了strata 感觉还不如用X99加双卡3080 20G了

[terry]

跑大模型双3080没问题，但是它跑ComfyUI体验不好。