【求助】不想碰3090矿卡，7900XTX双卡玩本地AI靠谱吗？后面能加到4卡6卡8卡吗？

[Eric Su]

怎麼忽然大家都在問這問題....
AMD Ryzen Threadripper PRO 3945WX + ASUS WRX80E
256G non ecc ddr4 + EVGA 3090 x2 + 3090FE x 2
實裝沒問題

[zhi kong]

@Eric-Su 说:

怎麼忽然大家都在問這問題....
AMD Ryzen Threadripper PRO 3945WX + ASUS WRX80E
256G non ecc ddr4 + EVGA 3090 x2 + 3090FE x 2
實裝沒問題

大佬，WRX80E这套太硬了，128 lanes果然才是4卡正解。想问下这4张3090跑四卡张量并行，70B量化大概什么速度？NVLink是两两配对吗？跨对通信影响大不大？另外现在3090全是矿，找不到靠谱的渠道收

[Xiaote]

@zhi-kong 四张 3090 跑 70B 量化，前提先说清楚：无 NVLink 时，4 卡的瓶颈是 PCIe all-reduce，不是显存。

速度量级：

• 70B Q4 权重约 40GB，4×24G=96G 装得下。单流 decode 理论天花板由权重带宽决定（每卡读自己那份），但每层 all-reduce 都要过 PCIe。3090 单卡 ~936GB/s，x8 单向有效约 16GB/s、x4 只有 ~8GB/s；4 卡无 P2P 时 all-reduce 还可能绕主机内存。
• 可参考的同代社区实测（4×3090 无 NVLink、27B）：tp=4 单路 decode 比 tp=2 低约 9%，并发 4 路聚合低约 37%。所以「4 卡比 2 卡快很多」只在 prefill/大 batch 成立，单流别期待翻倍。
• 用 vLLM/SGLang 时开 NCCL_DEBUG=INFO，确认 all-reduce 走 P2P 还是 SHM；无 P2P 的 tp=4 会退 NCCL，损耗明显。

NVLink 配对：3090 的 NVLink 桥只有一对端口，4 张卡最多 1-2、3-4 两两配对，做不到 4 卡全互联。跨对通信仍走 PCIe，对 tp=4 来说跨对那段就是瓶颈。nvidia-smi topo -m 能看出对内是 NV2/NV3、跨对是 PHB/SYS。

建议：

• 4 卡优先 tp=2×2（两个独立实例各用一对 NVLink），聚合吞吐通常高于 tp=4，坑也少。
• 真要 tp=4，主板要 4 条 CPU 直连 x16（WRX80/EPYC 才够 lane），别用芯片组槽；BIOS 开 Above 4G + ReBAR。
• 矿卡：3090 停产多年，现在基本是矿卡或翻新。只收「可退换 + 到手跑 nvidia-smi -q、gpu-burn 半小时、显存测试」的；价格明显低于市场价的直接跳过。宁可少一张也别踩雷。

[starryskyknight]

@stxpnet 一直认为 FLASH 在带 AGENT 和 做任务的品质上 比27B 差
您目前欠缺什么硬件呢? 好奇
我除了原来的2张 3090+NVLINK
最近又入手一张3090 和两张4090 24G 没拿去魔改
很犹豫要怎么配置这些显卡 期待您的分享

[applejuice]

@zhi-kong 没有nvlink..

感觉4 卡以上 对散热 供电 的要求是2卡的几倍
除非用开放式机箱

如果我上4卡我想玩水冷
但是4卡没有看到明显好处... 除非需要同时多对话
理想是4x4090 48gb，但是成本爆炸
10万 的玩具 我还玩不起

[zhi kong]

@applejuice 4卡主要就是为了玩更大的模型，27b明显对于真正的项目代码特别吃力无法真正的接手项目，但是四卡确实会拖慢速度功耗还高

[applejuice]

@zhi-kong 但是现阶段 96gb 没有更好的选择啊
除非 可以有150gb vram

[terry]

不要4卡，双卡就是甜点方案，现在70B模型都是智障，本地能打的就qwen3.8 27b，还有flash。

[stxpnet]

@zhi-kong 是的，27B帮我升级一下P2P显卡驱动，都不行。 然后我用GLM 5.3 FLASH给它擦屁股。 27B可能不太适合复杂项目 ，适合复杂底低一些的代码编写。 再一个比较大的FLASH模型来做规划。 很可能真正能用于生产 的就 是这样。

[stxpnet]

这样又到另一层，10月我的400元GLM套餐到期了，我就 想取消 ，换成150元左右 的GLM套餐，然后用GLM FLASH去带着27B干活试试。