抡锤者

@applejuice 4卡主要就是为了玩更大的模型，27b明显对于真正的项目代码特别吃力无法真正的接手项目，但是四卡确实会拖慢速度功耗还高

@Eric-Su 说:

怎麼忽然大家都在問這問題....
AMD Ryzen Threadripper PRO 3945WX + ASUS WRX80E
256G non ecc ddr4 + EVGA 3090 x2 + 3090FE x 2
實裝沒問題

大佬，WRX80E这套太硬了，128 lanes果然才是4卡正解。想问下这4张3090跑四卡张量并行，70B量化大概什么速度？NVLink是两两配对吗？跨对通信影响大不大？另外现在3090全是矿，找不到靠谱的渠道收

@kos-or

@kos-or 说:

@zhi-kong said:

7900XTX体积相对较大,支持的主板较少,可能最多只能×4 / ×6

可以參考上面的 5090 的8卡組裝方法, 這個伺服器機箱我在taobao 上看過, 應該可以找到,
顯卡間距 記得先量測一下, 否則買了又退

谢谢佬，前期一定是先把平台买好，先×2玩，后期慢慢加卡，很有帮助

@kos-or 佬，是的我也在考虑, 7900XTX体积相对较大,支持的主板较少,可能最多只能×4 / ×6，R9700价格实在逆天。机箱的话我已经准备好开放式机箱+外接风扇，横向单风扇散热，纵向低功率4风扇吹风

实际用朋友本地qwen3.8 27bQ4接手了一下项目，速度40t-60t 速度真的不够，只是写一些小文件，某些小项目可以，如果是大一点的项目，上下文和速度都是痛点，挖掘一份ntos中.data的api指针替换并写成.asm内联汇编来修改堆栈，xhigh的结果不错，IDAMCP + web_search+C++写代码+思考，速度很慢，最慢的点在于IDAMCP工具调用

@stxpnet 如果能跑到130+t/s 速度确实够做agent编程任务了，就是上下文长度差了

@Quanta-Magic 纠结于 只玩小模型可以7900XTX双卡，后期加卡是个问题，N卡又普遍溢价离谱矿卡泛滥没有靠谱的。

省流：

3090 24G 海鲜市场全是矿，狗东自营又没货，不敢赌。

想先上 7900XTX 双卡 48G，跑 Qwen 70B 量化。

怕以后加 4/6/8 卡时，没 NVLink + PCIe 通道 + ROCm 多卡把我劝退。

先叠甲：不是纯小白，Linux/Docker 都行，命令环境能折腾。但真不想天天跟 ROCm 兼容性对线。

现在卡在这：
3090 便宜是便宜，但矿卡风险太大，坏了没保直接裂开。
7900XTX 全新有保，24G，价格也能接受。最近 B 站/论坛确实有不少 ROCm 跑 AI 的教程，llama.cpp、vLLM 好像都能玩。
所以想先搞双卡，48G 显存跑 70B Q4/Q3，日常推理应该够？

但我最纠结的是升级：
双卡 → 4卡 → 6卡 → 8卡，7900XTX 到底现不现实？

担心点：

PCIe 通道：消费级平台直连通道就那点。双卡 x8/x8 还行，4 卡怎么分？看帖子说 ROCm 还挑槽位，不是 CPU 直连可能直接报错。

没 NVLink：卡间通信全走 PCIe。双卡能忍，4 卡以上 AllReduce 会不会慢成狗？vLLM 多卡效率能看吗？

ROCm 多卡：CUDA 那边插上就能跑，ROCm 这边版本对不齐就开不了。双卡我都怕折腾，4 卡 8 卡是不是直接变运维地狱？

物理+钱包：7900XTX 三槽卡，4 张机箱都塞不下。主板、电源、线程撕裂者/EPYC 平台，一套下来是不是不如租云？

想求真实经验：

双卡 7900XTX 跑 70B 量化，实际 token/s 多少？能日常用吗？

有人真跑过 4 卡 7900XTX 做推理吗？消费级平台是不是没戏？

6/8 卡是不是必须服务器板 + PCIe switch？那成本对比二手 A100/MI300X 咋样？

双卡是不是普通玩家天花板？再往上不如直接云？

更高端的显卡圈，全是神仙打架不是我能比的起的。
有实际踩过坑的大佬求指点，云评测也欢迎，轻喷。
现在就是不上不下，难受。