感谢板上大神的文章
之前先入手一张保固内evga 3090后,把老主机搬出来先暂时当ubuntu伺服器使用
规格如下
主机板 ASUS ROG CROSSHAIR VI HERO (WI-FI AC)(X370),BIOS 7704(2019-12-16)
CPU AMD Ryzen 5 3600,6 核 12 执行绪
RAM Team Group UD4-3200 16GB ×2 = 32GB,单 rank,插 A2/B2,跑 3200 MT/s @1.2V JEDEC
GPU 2 × EVGA GeForce RTX 3090 24GB(GA102),VBIOS 94.02.42.C0.10,驱动 595.84
GPU功耗 现设 220W/卡(原厂上限 366W)
PCIe 两张都 Gen3 ×8(x8/x8 拆分 + X370 平台上限),H2D 6.72 GB/s
PSU 850w(目前双卡怕爆掉所以限220w,显存温度约85)
一开始是对于想要使用本地qwen3.8与comfy ui两个要不断切换模型非常烦躁
所以又入手一张同款3090
可是买了就在想要同时运用上两张卡看看能不能同时运算让吐字或生视频速度更快增加效率
我让dsh使用deepseek v4 flash和4.1 flash帮我设置都无法通过
想了解现在这台机器碰到的问题是否是升级其他硬体就能解决?
1.社群补丁打得开P2P,但一用就卡死 — 打开后纯复制 6.77 GB/s 满速,可是 NCCL all-reduce 第一次就逾时;上游 bridge 的 ACS 还开着(ReqRedir+ / CmpltRedir+)。已回滚原厂驱动,因为对 vLLM 零效益。
2.主机板通道不够 — 16 条 lane 插满就是 x8/x8,而且只给 Gen3,如果换x99洋垃圾(加记忆体¥2400)也就变成x16/x16,效益增加是否不明显?差不多预算换nvlink(3slot约¥2300)的话状况会比较好吗?
3.如果买3090支援最高的pcie gen4 x16/x16的主板是否更好?查了一下比x99贵不少
4.comfy ui一直无法在同一工作流中运用两张卡去处理
5.vllm搭配Qwen3.8-27B-W4A16-AutoRound-fast,对话到一半就报错停住
ai对两种工作状况下碰到的困难描述
LLM(VLLM TP=2):长 prompt prefill 慢且由后端决定(126k:Triton+int8 303 秒 → FLASH_ATTN+bf16 139 秒);但快的代价是 KV 池砍半(692k → 355k tokens);TP=2 一开就吃满两张卡 22.2/24GB;加 max-num-seqs 没用(K=8 饱和,两卡已 100% util 且撞墙)。
ComfyUI(MiniMax H3):VRAM 余裕 <1GB(峰值 23.3/24GB);每支片固定要重载 TE ~11 秒;节点级跨卡分流直接 SIGABRT(无 P2P → CPU staging 与 DynamicVRAM 相冲);接缝修正因 dtype bug 只能跑 CPU;40 秒 4 段冷跑约 28 分;OOM 要盯 anon。