【直播】4卡R9700从采购到调试
-
目标：4 卡 R9700。记录从零件选型、采购、组装到系统调试的全过程。持续更新整理中，最后更新：202610120114
️ 选型回顾方案 CPU 主板 合计 核心取舍 A EPYC 9B4 96C/192T / ¥8,000 MZ33-AR1-rev-3x / ¥5,500 ¥13,500 主板便宜，可插更多内存，预算向 CPU 倾斜 B 7945WX / ¥3,000 WRX90E-SAGE SE / ¥9,343 ¥12,343 平台优先，扩展和外观更好 
已确定配置零件 型号 数量 单价 合计 状态 🧩 主板 华硕 Pro WS WRX90E-SAGE SE 1 ¥9,343 ¥9,343 已采购🧠 CPU AMD Ryzen Threadripper PRO 7945WX 1 ¥1,800 ¥1,800 已采购🧮 内存 SK DDR5 16G 1Rx8 4800B REG ECC RDIMM 1 ¥3,111 ¥3,111 已采购
显卡瀚铠 VASTARMOR Radeon AI PRO R9700 32G 2 ¥10,618 ¥21,236 已采购
固态Intel SSD DC P3608 4TB 1 ¥3,000 ¥3,000 库存
️ CPU 水冷头ICE-TR5 IWB-CA-TR5-NK 1 ¥290 ¥290 已采购
️ 机箱迎广 InWin DUBILI 1 ¥1,699 ¥1,699 已采购
电源长城 黑匣子 3200W（GW-EPS3200BL 94+） 1 ¥2,850 ¥2,850 已采购合计 ¥43,329 
选择理由
【被坑了】发现淘宝折扣后，WRX90E-SAGE SE 降到 ¥7,900，直接入手。- 🧩 主板外观好看，PCIe 5.0 插槽多，为未来的多卡扩展预留空间。
- 🧩 后续要运行moe模型，PCIe 5.0 速度更快。
- 🧠 CPU 使用
7945WX，正常二手价格 ¥3,000。
PS：淘宝消费券7900买到WRX90E，目前价格回归12000。闲鱼二手最低6900。- 淘宝二手 WRX90E 已经退货，重新从亚马逊采购了。
- 7945WX 二手价格参差不齐，1800是目前能买到的最低价格了。
- 从抽屉找到一个P3608 4TB，以前挖坑用的，算3000吧。
- 如果只需要 PCIE 通道，7965WX就够用了，如果需要较大内存带宽则应该至少7965WX。
BUG：- 7945WX 仅 2 个 CCD，8 通道读取受 CCD-IOD 互联限制，约 100 GB/s；7965WX、7975WX 等 4+ CCD 型号可达约 230+ GB/s。说明该平台跑满 8 通道带宽不只靠通道数，CCD 数量同样是关键瓶颈。【资料】
-
-
其實若不考慮跑 MoE 模型，我認為哪張主機板 PCIe 插槽多，就買哪張。
我是考量到日後要擴充、跑 MoE 模型，也打算自行研發記憶體擴充板，所以主機板會想一次買到位，而且一定要有 PCIe 5.0 x16。
也可以參考這裡：
https://www.grando.ai以下都是我評估過的硬體：
ASRock Rack GENOAD8X-2T/BCM
Supermicro SYS-821GE-TNHR、Dell XE9680
Supermicro X13DEG-O-CPU
Supermicro X13DEI
ASUS Pro WS WRX90E-SAGE SE
Gigabyte MZ73-LM0
ASUS Pro WS WRX80E-SAGE SE若不考慮日後跑 MoE 模型，我會建議直接買：
https://www.huananzhi.com -
那么快画好图纸了吗？
@applejuice 我联系了 Bykski，他们可以定制 r9700 水冷头，全网都没有成品水冷头可以买，7900xtx有成品水冷头。
-
@kos-or 記憶體頻寬太低了，而且 DGX Spark 目前一台要 35,000 人民幣，我是不太看好。
其實我確實有打算這樣買：
- 4 張 7900 XTX、2 張 R9700，總共 160 GB
- 2 張 7900 XTX、4 張 R9700，總共 176 GB
7900 XTX 只要 5,500 人民幣就能入手，還是很划算。
等記憶體降到正常價格，我再加記憶體；不然就一路堆顯示卡，先不考慮電費。
-
@Name-Error 記得有一帖有說雙7900 XTX遇到速度問題，雙R9700走通，不確定是否和卡型號有關? @xiaote
-
-
-
@Thanaots 真的那么好用吗？
我现在看来 只有prefill 快
decode 带宽限制 也就这样了我这里涨到早就不止2000 美金了
-
-
那个帖是《T7910 双卡本地推理全记录》：https://lcz.me/topic/1941 。严格说阶段一不是"速度不行"：TP=2 已经跑到约 100 tok/s（W4A16 GPTQ + EAGLE MTP-3），把它打掉的是第 6 分钟一条卡死请求 → device lost from bus，驱动复位 8 次全失败。换 R9700 后解决的核心是「大 BAR + P2P」，即稳定性与卡间通信，不只是速度。
和卡型号确实有关，但要拆成三条，别只归给「新一代更快」：
-
BAR / P2P（最直接、也最"卡型号"的一条）：7900 XTX 的 VBIOS 开机只申请 256MB BAR，那台机器拿不到大 BAR → 没有 P2P，跨卡只能退回 NCCL，还经过 PCIe 交换机 4 跳 Gen2；R9700 默认申请大 BAR，作者再给自编内核的 p2pdma 白名单加一行，32GB BAR + P2P 一次打通，卡间带宽 2.39 → 10.26 GB/s。这是固件/代际差异，不是算力差异。
-
算子路径：gfx1201（RDNA4）有 FP8/W4A8（fp8 WMMA）和成熟的 MXFP4 路径，gfx1100（RDNA3）没有 FP8。Name-Error 说的方向对，但它主要影响量化模型的 prefill，不是掉总线的根因。
-
平台/拓扑也是变量：阶段一 7900 XTX 挂交换机下游，阶段二 R9700 插 CPU 直连槽；作者自己也声明两阶段的模型/量化/框架/prompt 全变，速度数字不可直接比。
所以不能简单下结论「双 7900 XTX 速度不行、双 R9700 行」。要在你自己机器上定值：同平台同槽位、同模型同量化同框架，只换卡；先看大 BAR 与 P2P（AMD 用 rocm-smi --showtopo / hipDeviceCanAccessPeer，N 卡用 nvidia-smi topo -m），再谈速度。
-
-
-
-
@张光璞 细说？
我感觉要就大显存150-200gb vram
不然也只是跑27b 有点浪费而且4x r9700 成本是几倍跳
-
@张光璞 细说？
我感觉要就大显存150-200gb vram
不然也只是跑27b 有点浪费而且4x r9700 成本是几倍跳
Q4的模型智力也就这样了。 我自己量化的Q8 模型双卡48g 显存只有80K上下文还要并发共享 。这没法用。
-
-
-
-
@Thanaots 应该不会比5000 pro 72gb 强
但是我这里1张rtx 5000 pro 72gb 可以买6张
如果我有钱当然选5000pro
但是我连买两张r9700 都舍不得 -
其实我一直很好奇pcie5 跑p2p 跟pcie4/3 跑 p2p 会差多少？
如果你入手了刚好可以跟网友分享的对比下了据我跟ai 了解
2张卡
如果单人用 pcie 4/5 decode prefill 几乎没影响
多人使用decode 也大概在少过10% 的差距 这样4张卡
Decode 多人使用大概10-15%
Prefill 单人 多人都在10-15%我感觉2张卡pcie4 完全能够个人玩家是用
pcie3 对比pcie5 就差点点 2 张卡都差10%
4张卡并行 不是普通玩家了 机箱散热都是另一个等级的跳跃当然以上讲着 r9700 或是 rtx5 series支持pcie5的显卡
这个我能给你个我用VLLM-OMNI测试H3跑视频的参考数据：
864×480、124 帧、24 fps、约 5.175 秒、20 步
TP2/U1，无 P2P（PCIE5X8）195.134 秒 （2卡）
TP2/U1，有 P2P 131.458 秒（2卡）
TP4/U1，有 P2P 91.836 秒（4卡）
TP2/U2，有 P2P 78.205 秒（4卡）我先买的Z890平台双卡怎么都没法成功P2P，然后加了两张卡买了16000多的PCIE5交换机。。。。。。
