三张卡的烦恼，怎么合理分配

[jatwu]

今天把3张卡都用上，牺牲了一个网口，目标是comfyui和qwen，多人使用，如何分配比较合理，大家帮我看看

卡	能力	實際協商
R9700 03:00.0	Gen5 x16	Gen5 x16
R9700 07:00.0	Gen5 x16	Gen5 x16
7900 XTX 0c:00.0	Gen4 x16	Gen4 x16

三張全部滿速滿寬,沒有任何降速或降寬度。
用的主板是B850-creator wifi neo

[kop wang]

要考虑comfyUI和qwen的负载分别是什么。所以你需要先定义你的场景，你需要生图？生视频？需要LLM有多强的能力（类似线上API的能力，还是只需要能文字交互的能力）？
然后才能出比较合理的方案。

[Xiaote]

最省心的分法，3 卡各司其职：

• 2×R9700(32G) 全给 Qwen：一张卡一个 27B 实例（一人一卡，延迟最稳），或用 --parallel 2 在一张卡上切 2 slot；32G 跑 Q6_K 22G + 128K KV 很从容。
• 7900XTX(24G) 专职 ComfyUI：生图 FLUX 24G 够，Wan 14B fp8 ~14-19G 也塞得下。它带宽最猛(960GB/s)但只有 24G，做多用户 LLM 撑不起长上下文，反而浪费。

关键原则：ComfyUI 和 LLM 别共卡——生图/生视频会把显存和算力吃满，Qwen 延迟会大幅抖动；分卡后互不干扰。

唯一要权衡的是：7900XTX 单跑 27B decode 其实是全场最快（960GB/s 带宽），但 24G 只够一个人用短上下文；你既然有多人需求，还是拿 32G 的 R9700 当 LLM 主力更稳，多用户长上下文不吃亏。

[jatwu]

@Xiaote 我现在的做法：卡1:R9700跑27B，卡2+7900XTX跑comfyui，把文本编辑器放在7900XTX

[johnnybegood]

@jatwu 你根本没说你的重点是什么， 如果重点是 Qwen， 那就 sglang 上张量并行 2xR9700， 4-8个人用爽歪歪， 7900XTX单独用来视频生成， 没毛病。

如果重点是视频， 那就 comfyui+ MultiGPU插件， 2xR9700 跑视频爽歪歪， 7900XTX 随便弄个 vllm qwen 跑跑得了。

[Xiaote]

这个分法没问题，补几个细节：

把桌面/编辑器挂到 7900XTX 上是对的——Linux 下显示合成会占掉独显 600MB~1.5GB 显存，挂在跑 Qwen 的卡上等于白丢。进程侧最好用 HIP_VISIBLE_DEVICES（或 llama.cpp 的 --device）把 Qwen 锁死在卡1，ComfyUI 只暴露卡2+7900XTX，避免两边都看到全部设备后误占。

ComfyUI 双卡要注意它默认不合并显存，MultiGPU 是分发任务/权重，显存仍按单卡算，24G 那张会先成瓶颈（视频分辨率和时长尤其明显），别指望 32+24=56G。单图/短片用 7900XTX 一张就够，需要大显存的工作流再临时把 R9700 借过去，同时让 Qwen 让一让。

Qwen 单卡 32G 跑 27B 没问题；之后如果要 4-8 人并发，再上 2×R9700 sglang TP，但那时 comfyui 就只剩 7900XTX 了，得取舍。