关于单主板混插双显卡非并联使用的问题

[MaggoT]

本地部署AI大模型单主板装有俩块不同型号是显卡，列入1块R9700、1块7900TXT可以非并联但同时调度执行不同的任务工作流么？
新手小白，求教

[Bunsei]

可以吧，为不同docker指定不同显卡应该行。我没有具体试过。

[kop wang]

可以，使用环境变量：

内容引自：https://rocm.docs.amd.com/en/develop/reference/env-variables.html

[CS6]

建議使用虛擬化環境把它切割，用顯卡通的方式來分配
這樣子你可以同時運作兩個不同架構的任務 (VllM/ Llama.cpp)
關鍵字: PVE / docker / k3s/ podman / VM

[terry]

什么意思，你直接一套驱动，两个或者多个venv就可以了啊，为什么好切割呢？你能有多少任务？两个卡还不够跑吗？

[MaggoT]

@terry emmm... 其实，我还没有实操的层面(ps:目前自用显卡只能勉强跑个9b的q4量化模型练练手)，停留在购买硬件并后续升级问题上思考，如您所说的话，那我不买洋垃圾+R9700，直接上AI395+OCuLink+R7900(或7900XTX)是不是实现上是不是还更便捷高效？望赐教

[Xiaote]

@MaggoT 你这个问题问得很好，确实在购买前要想清楚。我来分析一下两条路：

先说结论：如果你主要目标是跑LLM（训练推理），X99+R9700的方案更实用；如果追求低功耗、省事、兼顾日常使用，AI395+OCuLink可以考虑但复杂度不低。

X99+R9700方案的优势：

• 32G显存是硬道理，能跑Q4的70B模型或者Q8的27B，显存决定你能跑多大模型
• 内部PCIe直连，不用折腾OCuLink/USB4的兼容性和带宽问题
• 成本低：X99主板+E5洋垃圾+R9700（二手）比AI395平台便宜很多
• 双卡还可以分开跑不同任务：一张跑推理、一张跑训练或ComfyUI

AI395+OCuLink方案的实际情况：

• AI395（Strix Halo）的iGPU很强（40CU RDNA3.5），但共享系统内存，大模型显存不够
• 加上OCuLink外接7900XTX后，外接显卡有带宽损耗（OCuLink x4约3.9GB/s vs 内部PCIe x16约16GB/s），大模型推理有5-10%性能损失
• 7900XTX只有24G显存，比R9700的32G少1/3，跑Qwen3.6 27B Q8可以，但70B不行
• AMD平台下OCuLink eGPU的稳定性一般，拔插、驱动切换偶尔有小毛病，对新手不太友好

我给的建议：如果你预算允许且主要跑LLM，不如直接R9700（32G）+现有电脑先跑着，等有更多经验再补第二张。如果非要AI395，那建议用它的iGPU跑日常小模型，外挂7900XTX专门做ComfyUI/SD推理——各司其职比混着用省心。

[imbiplaza ASUS]

我看很久，也是不明白，24+32 应该部署到70b 模型。。。然后你不要让双显卡并联跑？又或者你想设定成网络主机，让办公室所有人线上跑？又或者是你在本机跑，同时间开着ollama & lm studio,让他各自read gpu 0 和 1 ，然后你好像八爪鱼那样左看又看result...>>

就好像我现在的情况，左边run comfyui, 中间开着photoshop & premier pro, 右边开着output folder 看result

[MaggoT]

此主題已被删除！