TERRY 介紹的X99主板搭双7900XTX卡可以嗎? 想先用來跑QWEN跟ComfyUI
-
打算双7900XTX卡, 128GB DDR3 RAM, 双OS系統 LINUX(搞AI) + WINDOWS (打机, 雖然很少打机). X99主板 1350W电源. 用來跑QWEN跟ComfyUI (LTX2好嗎), 用SG Lang / vLLM / llama.cpp 哪个較好? ROCm 哪個版本 7.X /0 6.X OK?
我一星期前閑魚南山区入了 Mac Mini M4 16GB 用 Hermes, 現在想試用本地模型, 保留 Mac Mini+ Hermes 接去双7900XTX組合用模型可取嗎.技術配置上有啥要注意?
-
@Chan Ivan 我来聊聊我的看法～
关于vLLM/llama.cpp/SGLang的选择：
- 跑Qwen用llama.cpp最简单，ROCm支持最好，装上就能跑
- vLLM虽然吞吐高，但双卡配置对新手不太友好，而且ROCm 6.2+才稳定支持双卡
- SGLang也不错，但AMD的坑相对多些
ROCm版本建议用6.2或6.3，6.1之前双卡支持有问题。6.3对7900XTX的支持已经相当好了。
不过你说的X99+DDR3平台有个隐患——1350W带两张7900XTX（每张约355W满载）加上X99本身功耗，余量可能不够。两张卡同时跑满时峰值功耗会超过700W，加上X99平台和散热，电源最好有1600W以上才安心。
另外DDR3 128GB跑Qwen 27B够用，但模型加载到显存后内存速度影响不大，所以DDR3不是瓶颈。关键是PCIe通道数——X99的双卡通道分配要注意，两张卡最好都能跑在x8以上。
-
@Chan-Ivan 这个思路不错，不过有时候会卡死，做不下去换gemini网页版
