双R9700 P2P+双卡TP 方案总结

[Xiaote]

X99（2014 年的 Haswell-EP/Broadwell-EP + C612）今天最大的风险不是性能够不够，而是主板的供电与 PCB 老化，以及二手板/延长线的接触问题。分开说：

一、掉卡的常见原因（多为链路/供电，不是 CPU 老）

• 接触：金手指或插槽氧化 → 重插、擦金手指、换槽。
• 延长线/riser：老平台对信号完整性更敏感，延长线折弯/劣质线最容易掉卡 → 先直插对比。
• 电源老化：12V 纹波变大、单路多卡瞬态触发 OCP → 换新电源、每卡独立供电线。

二、真正不可逆的是主板 VRM 老化

• 电解电容 ESR 上升，供电相数少的板长期带高功耗卡容易掉压、死机、重启。
• 检查：鼓包电容、焦味、VRM 散热片温度；EP5 v3 可关 Turbo 或用 RAPL 限功耗，能明显延长寿命。
• 内存这块反而稳：ECC REG RDIMM 自带纠错，比消费平台可靠，不是短板。

三、可靠性预期

• 当学习/实验平台没问题；当 7×24 生产要打折扣。
• 做生产至少：GPU 单独一路供电、加 UPS、数据离机备份；每 3–6 个月清灰换硅脂、查风扇。
• 别刷来路不明的「鸡血 BIOS」（楼下提到的 X99-TF 那种）：改电压/倍频/微码有变砖风险，收益也有限；自用图稳，默认 + 限功耗更划算。

一句话：二手 X99 当 AI 玩具可以，前提是「板子随时可能坏、你能随时换板/换平台」；别把唯一的生产机押上去。

[suboyang]

现在最大的问题是，Qwen3.8-27B-MXFP4 这类模型，我还没有看到双卡 R9700 可以稳定100t/s 以上的，尤其是250K上下文的测试，如果在250K 还能保持80~100t/s，本地模型部署才有意义，要不然干活太慢了，这个时间等不起。

[fcme]

@suboyang
我的单卡9700现在都稳定在100tps左右了，如果双卡p2p的话，怎么着也得在160左右了吧。这个如果搞成了还是挺让人兴奋的的！

[fcme]

我是收的老服务器，这个貌似也是支持的（27B还在研究中）。回头真的可能考虑再入一张9700，将来这个卡可能真的成为一代神卡。

[suboyang]

@fcme 就怕双卡TP 拉稀啊。

https://github.com/mattbucci/2x-R9700-RDNA4-GFX1201-sglang-inference

这个sglang 双卡才20t/s多，就算加上dflash2,也就40t/s。 如果是这样，双卡TP就没有折腾的必要。

我认为双卡TP 本地模型，需要保持在150t/s，才有折腾的必要，否则就没有生成力啊。玩玩image 还行。

[applejuice]

没有mtp 没有 dflash 3090 双卡才80多 r9700 宽带都没有3090 强
不可能有150 吧

[suboyang]

@applejuice 所以要比单卡3090 和单卡r9700速度 以及双卡tp. 就算没有150t/s 120也要的吧。双卡tp 只有58t/s ，那r9700双卡tp 可以不用折腾了。

[kos or]

@fcme

你也用5070 Ti, 可嘗試NInfer 速度快75% 以上

[fcme]

@kos-or
我5070ti现在基本处于闲置备用的状态，折腾的意义没有9700大呢 等我闲了看看

[fcme]

@suboyang
SGLANG 对AMD的民用卡非常非常不友好！

[suboyang]

@fcme

按说这个sglang方案是没有问题的
https://github.com/StevenChenSE/sglang/tree/gfx1100-support#chinese

双卡7900xtx 跑出了这样的水平，R9700 应该更高才对。

[applejuice]

@suboyang
按硬件能力来说
r9700 不可能 超过7900xtx 毕竟带宽差了50%

还是那句话r9700 突然爆火
是因为社区把fp8利用起来 prefill 推高了
decode 还是被带宽限制了

如果没有dflash2 没有mtp
r9700 decode 惨不忍睹
而在实际用途 decode成绩 绝对不会是测试的那么漂亮

@xiaote 纠正我如果我错了

[suboyang]

@applejuice

但是带宽影响比较大的是视频生成，和语音生成。大模型TP未必这么敏感，这个还得有人测。主要成本实在太高，要不然我自己早上手了。

[applejuice]

@suboyang 视频对vram 大小 带宽都有要求

只是vram更重要因为大小决定了可以生成更长的视频

[fcme]

@suboyang
这一点你说错了，我好好求证过，sglang只支持到RDNA3，R9700是RDNA4，一字之差就是不支持，NND。所以就得等民间大神的移花接木技术了。
现在有了更牛逼的在线模型估计也快了吧

[suboyang]

@applejuice

https://github.com/StevenChenSE/sglang/tree/gfx1100-support#chinese
这个方案实际上论坛里是没有人测试过R9700双卡的，需要换一下模型，和KV参数。

需要有人完全测过这个方案才行，就算R9700带宽只有640G，也不至于双卡TP 50多token，这还玩个毛线。R9700 就只能单卡方案了，那么AMD本地模型还差的很远。

[applejuice]

@suboyang 如果只根据硬件来说 双卡r9700 真的只有50-60t/s

7900xtx 3090 大概80-90
5090 是一倍160-180

厂家的刀法 很厉害

[fcme]

@suboyang
9700核心是赣西1201，不能用这个

[suboyang]

@applejuice 说:

双卡r9700 真的只有50-60t/s

双卡r9700 真的只有50-60t/s，那就洗洗睡了，双R9700 没有意义。

[suboyang]

@fcme 说:

sglang只支持到RDNA3

sglang只支持到RDNA3？？？？ 是吗？ 我没注意过这个问题，那就只能vllm了。也就是说双卡R9700 只能用vllm 推了，没有其他方案了。 谢谢你补充了，这么关键的一个问题。