【直播】4卡R9700从采购到调试
-
其實若不考慮跑 MoE 模型，我認為哪張主機板 PCIe 插槽多，就買哪張。
我是考量到日後要擴充、跑 MoE 模型，也打算自行研發記憶體擴充板，所以主機板會想一次買到位，而且一定要有 PCIe 5.0 x16。
也可以參考這裡：
https://www.grando.ai以下都是我評估過的硬體：
ASRock Rack GENOAD8X-2T/BCM
Supermicro SYS-821GE-TNHR、Dell XE9680
Supermicro X13DEG-O-CPU
Supermicro X13DEI
ASUS Pro WS WRX90E-SAGE SE
Gigabyte MZ73-LM0
ASUS Pro WS WRX80E-SAGE SE若不考慮日後跑 MoE 模型，我會建議直接買：
https://www.huananzhi.com -
那么快画好图纸了吗？
@applejuice 我联系了 Bykski，他们可以定制 r9700 水冷头，全网都没有成品水冷头可以买，7900xtx有成品水冷头。
-
@kos-or 記憶體頻寬太低了，而且 DGX Spark 目前一台要 35,000 人民幣，我是不太看好。
其實我確實有打算這樣買：
- 4 張 7900 XTX、2 張 R9700，總共 160 GB
- 2 張 7900 XTX、4 張 R9700，總共 176 GB
7900 XTX 只要 5,500 人民幣就能入手，還是很划算。
等記憶體降到正常價格，我再加記憶體；不然就一路堆顯示卡，先不考慮電費。
-
@Name-Error 記得有一帖有說雙7900 XTX遇到速度問題，雙R9700走通，不確定是否和卡型號有關? @xiaote
-
-
-
@Thanaots 真的那么好用吗？
我现在看来 只有prefill 快
decode 带宽限制 也就这样了我这里涨到早就不止2000 美金了
-
-
那个帖是《T7910 双卡本地推理全记录》：https://lcz.me/topic/1941 。严格说阶段一不是"速度不行"：TP=2 已经跑到约 100 tok/s（W4A16 GPTQ + EAGLE MTP-3），把它打掉的是第 6 分钟一条卡死请求 → device lost from bus，驱动复位 8 次全失败。换 R9700 后解决的核心是「大 BAR + P2P」，即稳定性与卡间通信，不只是速度。
和卡型号确实有关，但要拆成三条，别只归给「新一代更快」：
-
BAR / P2P（最直接、也最"卡型号"的一条）：7900 XTX 的 VBIOS 开机只申请 256MB BAR，那台机器拿不到大 BAR → 没有 P2P，跨卡只能退回 NCCL，还经过 PCIe 交换机 4 跳 Gen2；R9700 默认申请大 BAR，作者再给自编内核的 p2pdma 白名单加一行，32GB BAR + P2P 一次打通，卡间带宽 2.39 → 10.26 GB/s。这是固件/代际差异，不是算力差异。
-
算子路径：gfx1201（RDNA4）有 FP8/W4A8（fp8 WMMA）和成熟的 MXFP4 路径，gfx1100（RDNA3）没有 FP8。Name-Error 说的方向对，但它主要影响量化模型的 prefill，不是掉总线的根因。
-
平台/拓扑也是变量：阶段一 7900 XTX 挂交换机下游，阶段二 R9700 插 CPU 直连槽；作者自己也声明两阶段的模型/量化/框架/prompt 全变，速度数字不可直接比。
所以不能简单下结论「双 7900 XTX 速度不行、双 R9700 行」。要在你自己机器上定值：同平台同槽位、同模型同量化同框架，只换卡；先看大 BAR 与 P2P（AMD 用 rocm-smi --showtopo / hipDeviceCanAccessPeer，N 卡用 nvidia-smi topo -m），再谈速度。
-
-
-
-
@张光璞 细说？
我感觉要就大显存150-200gb vram
不然也只是跑27b 有点浪费而且4x r9700 成本是几倍跳
-
@张光璞 细说？
我感觉要就大显存150-200gb vram
不然也只是跑27b 有点浪费而且4x r9700 成本是几倍跳
Q4的模型智力也就这样了。 我自己量化的Q8 模型双卡48g 显存只有80K上下文还要并发共享 。这没法用。
-
-
-
-
@Thanaots 应该不会比5000 pro 72gb 强
但是我这里1张rtx 5000 pro 72gb 可以买6张
如果我有钱当然选5000pro
但是我连买两张r9700 都舍不得 -
其实我一直很好奇pcie5 跑p2p 跟pcie4/3 跑 p2p 会差多少？
如果你入手了刚好可以跟网友分享的对比下了据我跟ai 了解
2张卡
如果单人用 pcie 4/5 decode prefill 几乎没影响
多人使用decode 也大概在少过10% 的差距 这样4张卡
Decode 多人使用大概10-15%
Prefill 单人 多人都在10-15%我感觉2张卡pcie4 完全能够个人玩家是用
pcie3 对比pcie5 就差点点 2 张卡都差10%
4张卡并行 不是普通玩家了 机箱散热都是另一个等级的跳跃当然以上讲着 r9700 或是 rtx5 series支持pcie5的显卡
这个我能给你个我用VLLM-OMNI测试H3跑视频的参考数据：
864×480、124 帧、24 fps、约 5.175 秒、20 步
TP2/U1，无 P2P（PCIE5X8）195.134 秒 （2卡）
TP2/U1，有 P2P 131.458 秒（2卡）
TP4/U1，有 P2P 91.836 秒（4卡）
TP2/U2，有 P2P 78.205 秒（4卡）我先买的Z890平台双卡怎么都没法成功P2P，然后加了两张卡买了16000多的PCIE5交换机。。。。。。
-
这个我能给你个我用VLLM-OMNI测试H3跑视频的参考数据：
864×480、124 帧、24 fps、约 5.175 秒、20 步
TP2/U1，无 P2P（PCIE5X8）195.134 秒 （2卡）
TP2/U1，有 P2P 131.458 秒（2卡）
TP4/U1，有 P2P 91.836 秒（4卡）
TP2/U2，有 P2P 78.205 秒（4卡）我先买的Z890平台双卡怎么都没法成功P2P，然后加了两张卡买了16000多的PCIE5交换机。。。。。。
@Kevin-Hyderich 什么卡？ 16000 交换机... 买块全新主板+ddr5 都没那么贵吧
-
