老主机升级双3090显卡碰到的问题求建议
-
感谢板上大神的文章
之前先入手一张保固内evga 3090后，把老主机搬出来先暂时当ubuntu伺服器使用
规格如下
主机板 ASUS ROG CROSSHAIR VI HERO (WI-FI AC)（X370），BIOS 7704（2019-12-16）
CPU AMD Ryzen 5 3600，6 核 12 执行绪
RAM Team Group UD4-3200 16GB ×2 = 32GB，单 rank，插 A2/B2，跑 3200 MT/s @1.2V JEDEC
GPU 2 × EVGA GeForce RTX 3090 24GB（GA102），VBIOS 94.02.42.C0.10，驱动 595.84
GPU功耗 现设 220W/卡（原厂上限 366W）
PCIe 两张都 Gen3 ×8（x8/x8 拆分 + X370 平台上限），H2D 6.72 GB/s
PSU 850w(目前双卡怕爆掉所以限220w，显存温度约85)一开始是对于想要使用本地qwen3.8与comfy ui两个要不断切换模型非常烦躁
所以又入手一张同款3090可是买了就在想要同时运用上两张卡看看能不能同时运算让吐字或生视频速度更快增加效率
我让dsh使用deepseek v4 flash和4.1 flash帮我设置都无法通过
想了解现在这台机器碰到的问题是否是升级其他硬体就能解决？1.社群补丁打得开P2P，但一用就卡死 — 打开后纯复制 6.77 GB/s 满速，可是 NCCL all-reduce 第一次就逾时；上游 bridge 的 ACS 还开着（ReqRedir+ / CmpltRedir+）。已回滚原厂驱动，因为对 vLLM 零效益。
2.主机板通道不够 — 16 条 lane 插满就是 x8/x8，而且只给 Gen3，如果换x99洋垃圾(加记忆体￥2400)也就变成x16/x16，效益增加是否不明显？差不多预算换nvlink(3slot约￥2300)的话状况会比较好吗？
3.如果买3090支援最高的pcie gen4 x16/x16的主板是否更好？查了一下比x99贵不少
4.comfy ui一直无法在同一工作流中运用两张卡去处理
5.vllm搭配Qwen3.8-27B-W4A16-AutoRound-fast，对话到一半就报错停住
ai对两种工作状况下碰到的困难描述
LLM（VLLM TP=2）：长 prompt prefill 慢且由后端决定（126k：Triton+int8 303 秒 → FLASH_ATTN+bf16 139 秒）；但快的代价是 KV 池砍半（692k → 355k tokens）；TP=2 一开就吃满两张卡 22.2/24GB；加 max-num-seqs 没用（K=8 饱和，两卡已 100% util 且撞墙）。ComfyUI（MiniMax H3）：VRAM 余裕 <1GB（峰值 23.3/24GB）；每支片固定要重载 TE ~11 秒；节点级跨卡分流直接 SIGABRT（无 P2P → CPU staging 与 DynamicVRAM 相冲）；接缝修正因 dtype bug 只能跑 CPU；40 秒 4 段冷跑约 28 分；OOM 要盯 anon。
-
几个问题分开看，这台机子的瓶颈不在"换不换板"，而在 3090 之间没有真实 P2P。
1. P2P 一用就卡死：X370 + Ryzen 3600 的 PCIe 根复合体在消费级平台不给你干净的 P2P，上游 bridge 的 ACS 还开着（ReqRedir+/CmpltRedir+），打了 P2P 补丁后 BAR 直访先被重定向、再撞 IOMMU，NCCL 第一次 all-reduce 必超时。纯复制 6.77 GB/s 只是走 host staging 的 DMA，不代表 P2P 生效。结论：别开 P2P；双 3090 走这条路线的正解是 NVLink（见第 4 点），不是软件补丁。
2. Gen3 x8/x8 vs 换 X99 的 x16/x16：TP=2 每层都要 all-reduce，通信量按链路走。Gen3 x8 ≈ 6.7 GB/s、x16 ≈ 13 GB/s，换 X99 能把通信上限抬一倍，但 E5 平台内存/单核更老，prefill 的 CPU 侧会被拖；对"126k prefill 303s"这种负载，净收益不大。除非 CPU 不降级，否则不值得为 x16/x16 换整套。
3. 换支援 Gen4 x16/x16 的主板：比 X99 贵，TP 通信上限再翻倍（≈26 GB/s）。但 3090 是 Gen4 卡，AM4 消费级只给 x8/x8（24 lane 全给显卡也不够）；要双 x16 得上 TRX40/WRX80/EPYC 级，成本远超两张 3090 的收益。优先级排在 NVLink 后面。
4. NVLink 是最值的一步：3090 支援 NVLink，3-slot 桥约 ¥2300。它绕过 PCIe，不走 ACS/IOMMU，3090 对间约 112 GB/s，是 Gen3 x8 的十几倍，直接解掉 all-reduce 超时和 TP 通信瓶颈，也顺带缓解 ComfyUI 的跨卡 staging。注意：两卡都要是 NVLink 版（EVGA 3090 多数有）、槽距要量准，桥只加带宽不加显存。 买之前先
nvidia-smi topo -m看现在是 SYS/PHB 还是 NODE。5. ComfyUI 同工作流吃双卡：原生 ComfyUI 不会把一个工作流拆到两卡，节点级
device=跨卡本来就要经 CPU staging；无 P2P 时 staging 与 DynamicVRAM 抢内存触发 SIGABRT 是预期行为。现实做法是两个 ComfyUI 实例 +CUDA_VISIBLE_DEVICES各跑一条工作流（或有官方 multi-GPU runner 才用），别指望单工作流自动吃双卡。MiniMax H3 那个 ~25GB TE + ~20GB DiT，单卡 24G 必然 offload，这是容量问题不是拆分问题。6. vLLM 这边：int8 KV 把 126k prefill 从 139s 拉到 303s（Triton int8 kernel 慢），换来 KV 池砍半（692k→355k），这是"速度 vs 容量"的取舍不是 bug，按你要长上下文还是快 prefill 选一种。TP=2 撞 22.2/24GB 且加 max-num-seqs 无效，说明瓶颈是 KV 显存不是并发数——提
--gpu-memory-utilization、降 ctx 或换 fp8 KV 比调 seqs 有用。7. 电源：850W 双 3090 限 220W 能跑，但 3090 瞬态尖峰高，务必每卡独立 8pin 线、别用一分二；有条件换 1000W ATX3.x 更稳。显存 85°C 可接受，但机箱风道要保证。
-
-
我之前看了很多
最终选择了h12d-8d 最便宜 值得
为什么不选更贵的， 因为感觉3090 这种卡8张好像不大可能
所以h12d-8d 4个 2槽宽距的 pcie4x16 槽我觉刚好够用电源应该 要好一点的 3090 瞬间功率可以去到两倍
就是说250x2x2 =1000w了 听这里网友说 superflower 不错 瞬间功率好像可以超200%
我之前用长城1200w 也没出事（但是有网友双3090 一样电源一开始跑llm 就跳闸)新版comfyui 好像特定任务可以分开两张卡同时跑
我有叫ai尝试过 但是没有具体了解过小特说的nvlink 的确爽 看到好像有网友 测试效率高过我的不少
可惜我的卡不懂为什么用不了
