省流:
3090 24G 海鲜市场全是矿,狗东自营又没货,不敢赌。
想先上 7900XTX 双卡 48G,跑 Qwen 70B 量化。
怕以后加 4/6/8 卡时,没 NVLink + PCIe 通道 + ROCm 多卡把我劝退。
先叠甲:不是纯小白,Linux/Docker 都行,命令环境能折腾。但真不想天天跟 ROCm 兼容性对线。
现在卡在这:
3090 便宜是便宜,但矿卡风险太大,坏了没保直接裂开。
7900XTX 全新有保,24G,价格也能接受。最近 B 站/论坛确实有不少 ROCm 跑 AI 的教程,llama.cpp、vLLM 好像都能玩。
所以想先搞双卡,48G 显存跑 70B Q4/Q3,日常推理应该够?
但我最纠结的是升级:
双卡 → 4卡 → 6卡 → 8卡,7900XTX 到底现不现实?
担心点:
PCIe 通道:消费级平台直连通道就那点。双卡 x8/x8 还行,4 卡怎么分?看帖子说 ROCm 还挑槽位,不是 CPU 直连可能直接报错。
没 NVLink:卡间通信全走 PCIe。双卡能忍,4 卡以上 AllReduce 会不会慢成狗?vLLM 多卡效率能看吗?
ROCm 多卡:CUDA 那边插上就能跑,ROCm 这边版本对不齐就开不了。双卡我都怕折腾,4 卡 8 卡是不是直接变运维地狱?
物理+钱包:7900XTX 三槽卡,4 张机箱都塞不下。主板、电源、线程撕裂者/EPYC 平台,一套下来是不是不如租云?
想求真实经验:
双卡 7900XTX 跑 70B 量化,实际 token/s 多少?能日常用吗?
有人真跑过 4 卡 7900XTX 做推理吗?消费级平台是不是没戏?
6/8 卡是不是必须服务器板 + PCIe switch?那成本对比二手 A100/MI300X 咋样?
双卡是不是普通玩家天花板?再往上不如直接云?
更高端的显卡圈,全是神仙打架不是我能比的起的。
有实际踩过坑的大佬求指点,云评测也欢迎,轻喷。
现在就是不上不下,难受。