双R9700 P2P+双卡TP 方案总结

[applejuice]

@suboyang 如果只根据硬件来说 双卡r9700 真的只有50-60t/s

7900xtx 3090 大概80-90
5090 是一倍160-180

厂家的刀法 很厉害

[fcme]

@suboyang
9700核心是赣西1201，不能用这个

[suboyang]

@applejuice 说:

双卡r9700 真的只有50-60t/s

双卡r9700 真的只有50-60t/s，那就洗洗睡了，双R9700 没有意义。

[suboyang]

@fcme 说:

sglang只支持到RDNA3

sglang只支持到RDNA3？？？？ 是吗？ 我没注意过这个问题，那就只能vllm了。也就是说双卡R9700 只能用vllm 推了，没有其他方案了。 谢谢你补充了，这么关键的一个问题。

[suboyang]

@fcme

不对啊
https://github.com/mattbucci/2x-R9700-RDNA4-GFX1201-sglang-inference

这不是有sglang 支持吗？你说的是双7900xtx 不支持，对吧？

[fcme]

@suboyang
这个库我看是9月19号才发出来的，我的9700是在7月初买的。那时候我是搜遍了，全网都没有支持rdna4的sglang包。这个库里面还有Claude.md文件呢，所以大概和我想的差不多，这也是在AI帮助下搞的一个私人库。
总的来说，发展还是挺快的，两个月就把这个东西跑通了。
感觉，这个库挺有意思的，我回头研究一下可不可以搞一个单卡的SGlang，有这个打底了应该问题不太大。只是现在动力不足，paiton的那个目前来讲对R9700来说太够用了，个太好用了。

[suboyang]

你就单卡跑呗？就满足了？ 你上下文开的是多大的？

[fcme]

@suboyang
上下文200k（带识图，不带可以到240k左右），pp3800，tg100左右。
所以目前这个单卡的状态就已经很好用了，再折腾动力不足了，因为他基本上可以替代deepseek v4 flash了，比4.1flash差一些，但是日用工作太够了。

[suboyang]

@fcme
单卡如果是你这个效能，确实没必要双卡。你现在测过支持多少个并发，如果我开两个活，不知道能不能撑住。

[Brian]

@suboyang 双卡我试了，真可以120，我现在用FP8了，也能45-60之间

[suboyang]

@Brian

？？？？用的哪个github 脚本 什么方案？sglang 还是vllm ? FP4 120?

[Brian]

@suboyang vllm，sglang确定我这台x99 TP启动效果极差，上下文10k就跑不动了，PP启动还可以稳定到15-20左右，PP用不了MTP

[Brian]

@suboyang FXMP4，https://lcz.me/topic/1722

[fcme]

@suboyang
只开了单槽，双槽上下文太短了，没啥实际意义，至少对我的应用是这样。
但是好就好在，因为现在速度很快，单槽的话处理起来其实也挺快的，所以即使排队也很快，尤其是搭配dsh这种轻量化的Agent框架体验就很好。Hermes太重了，体验起来就还是慢，现在基本上已经弃用了

[paul hou]

雙卡想玩qwen3.8 flash 的可參考一下這個。
https://github.com/Dyluhn/R9V

prefill 3600
decode 70

[suboyang]

@paul-hou 说:

qwen3.8 flash

qwen3.8 flash 更适合脚本和文字修改工作，如大量的翻译，字幕校对，在线咨询。

[suboyang]

@fcme

这个哥们双卡R9700 vllm 可以跑出比较好的性能。
https://lcz.me/topic/1668?_=1790438007305

但是配置也太高了:

[applejuice]

@suboyang 还是那句话
你看到的全都是dflash/mtp 的功劳

如果没有 双r9700 只有50的速度
不是dflash/mtp 没有 可是真实场景都不一定有那么高效率

[suboyang]

@applejuice

我感觉都需要 MTP/dflash2 吧，这是5090的贴子，也是加了投机解码
https://lcz.me/topic/1228/9?_=1790458084310

4090 不加也就那样。
https://github.com/sergiuszm/ninfer-4090

R9700 整体性能 对标的就是4080S，也不能指望太高了。

[Xiaote]

@applejuice 大体对，但两处别把话说死。

1）带宽：R9700 640 GB/s（256bit GDDR6 20Gbps），7900 XTX 960 GB/s（384bit），7900XTX 多 50% 成立；同一量化、同一 KV dtype、同 ctx、单流 decode，7900XTX 的天花板确实更高，R9700 追不上。

但「不可能超过」要加定语：R9700 是 RDNA4，FP8/低比特 kernel 路径（fp8 WMMA 325 TFLOP/s）和 32G 容量是它的长处。在「要 FP8/4bit 权重 + 大 ctx + 不 offload」的负载上，7900XTX 吃亏在 RDNA3 的 FP8 弱、24G 装不下，这时 R9700 可以反超。所以比之前先钉死 quant / KV dtype / 上下文 / 并发，否则是两条不同的曲线。

2）decode 受带宽限制 —— 对。fp8/4bit 是把权重流量减半，不是打破带宽墙；投机解码（DFlash2/MTP）减小「每接受一个 token 要读的权重」，确实能把 decode 抬起来，但天花板还是 640 GB/s。测试数字好不好看，关键看有没有开投机、以及 ctx 多长。

3）「实际用途没测试漂亮」：方向同意。建议别用单一 benchmark 下结论，用自己负载打 pp/tg 两条曲线，固定 MTP/DFlash 开关做 A/B，才分得清是硬件差还是配置差。