X99 + 双 AMD Radeon AI PRO R9700 跑通跨 Root Port P2P：从内核、RCCL 到 SGLang Qwen3.8 实战

[suboyang]

@fcme 精度，精度，版主是FP8，官方精度。
Qwen3.8 27B MXFP4 + DFlash2 比 Qwen3.8 27B FP8 精度少一半

[fcme]

@suboyang
精度差不了一半，估计也就百分之几吧。按你这个算法，原始精度32位量化到Q4就没法用了，事实上Q4也可以保留差不多95%以上的有用信息。而且真要是干啥大活，跑云端不是更靠谱么，本地模型毕竟是本地。

[suboyang]

@fcme 不是，搞本地模型不就是为了干大活，24小时推理着。不过精度差的不多。
Qwen3.8 27B MXFP4 + DFlash2 比 Qwen3.8 27B FP8 精度，

云端模型真心跑不起，每个月100亿token

[fcme]

对啊，2%不到的差距没啥可担心的，Agent时代验收一下就可以了，也就可能是有时候需要多做个一步两步的。我现在发现搭配的agent某种程度上更重要，dsh明显比Hermes干活的效率要高。

[PhoenixRise2026]

@fcme 说:

但是看起来好像你这个运行速度也不是太好啊，Pp才1000左右。看看https://github.com/Eliovp-BV/paiton-vllm-plugin。 单卡运行速度就炸裂，昨天刚配置好的

Paiton 单卡确实很强，这个后面有时间我也会测。
我这篇主要验证的是 X99 双 R9700 的 P2P 可行性和双卡 scaling，SGLang 只是目前先跑通的 serving stack。现在这些 PP/TG 数据主要看单卡→双卡提升，不是在做 SGLang vs vLLM 横评。
后续会补 vLLM/Paiton，同模型同参数下再比较。

[terry]

@fcme 弟人家这个帖子是的关键是速度吗？人家是打通P2P，第一这是个人实验项目，刚刚开始，以后还可以优化。解决的是有无问题，是原创，就算纯粹从炫技的角度来看，也很有意义。它不是我发现了某个插件，某个方案很牛逼，这种技能很多人都能掌握，并不特别值得炫耀。
第二，PP在有SGLang的情况下，影响并不那么大，Agent场景只做增量Prefill，并不会一直做如此大的Prefill工作，所以可以接受。还是有应用价值的，不是所有场景都看测试数据的。
第三，这个方案对24G的7900XTX意义很大，它没有mxfp4的红利，可以抄作业，只要用上SGLang，双卡TP的意义在过往的帖子中有过大量测试，很有意义。
第四，VLLM有它的强项，也有弱项，Agent上它就是不如SGLang，不如NInfer，HaloGen，它没有硬核增量缓存计算，更没有跨会话缓存复用，并不是数字好看，体验就好的。
第五，对VLLM的用户而言，在X99上打通P2P难道没意义？你怎么知道人家不会vLLM呢？

论坛藏龙卧虎，低调交流。不能总学我，有点知识就吹牛逼，我都被打脸太多次，不太在乎了。谦虚使人进步，骄傲使人落后。

[张光璞]

我已经跑起来了，4并发160k ，现在单会话在58t/s 双会话 就是55 x 2

[terry]

@张光璞 单独更新个帖子可以，详细弄下数据。其实最主要的，我不希望大家总是发一大堆内容，就几个关键的，吐字速度，长上下文多并发的实际使用体验。然后再展开prefill，decode等具体数据，先给结论。这玩意能普及，也算是开了个新的玩法。

[张光璞]

@terry 说:

@张光璞 单独更新个帖子可以，详细弄下数据。其实最主要的，我不希望大家总是发一大堆内容，就几个关键的，吐字速度，长上下文多并发的实际使用体验。然后再展开prefill，decode等具体数据，先给结论。这玩意能普及，也算是开了个新的玩法。

ai会自动总结 很多东西。这样的好处是可以让别人抄作业的时候，直接得到数据配置信息等。

其实人看的只要写在头上就可以，大家只关心那几个数据 ，prefill decode TTFT 几并发

[fcme]

@terry
这我完全同意，sglang对amd的支持始终就挺屎的。
牛人太多了，要是有人能完全搞定AMD民用卡在sglang上面的生态那就太牛了，加油。

[terry]

@fcme 很多人都搞起来了，双7900XTX 4路并发长上下文都跑了，这对AMD用户太重要了。现在就是DDR4平台的板子太贵，大家想要解决X99这样的DDR3平台双卡TP的问题，这真的是非常重要。

[fcme]

@terry
DDR3太老了，需要更多的折腾是可预期的一个事情。我记得你之前视频里也不推荐大家搞双卡，问题太多了，何况DDR3的老平台。
从钱的角度说9700的32G对于90%本地玩家来说都够了，尤其是你最近视频里也说AMD生态有点支棱起来了。都是1万左右，单卡9700明显比7900XTX双卡容易折腾，当然双卡48G的大显存池对于多开的场景还是有绝对优势的。牛人们加油，我们等着抄作业吧

[kos or]

@fcme said:

我现在发现搭配的agent某种程度上更重要，dsh明显比Hermes干活的效率要高。

謝謝分享, 還沒研究到這一個層面, 有沒有可能 Hermes這種AIO多功能型的Agent system prompt, skills, memory.md, user.md 在一開始注入太多上下文
而降低了hermes agent的開發效率？

[suboyang]

@张光璞 双路吗？58t/s 有点慢

[suboyang]

@fcme

现在最大的问题是，Qwen3.8-27B-MXFP4 这类模型，我还没有看到双卡 R9700 可以稳定100t/s 以上的，尤其是250K上下文的测试，如果在250K 还能保持80~100t/s，本地模型部署才有意义，要不然干活太慢了，这个时间等不起。

[张光璞]

@suboyang 说:

@fcme

现在最大的问题是，Qwen3.8-27B-MXFP4 这类模型，我还没有看到双卡 R9700 可以稳定100t/s 以上的，尤其是250K上下文的测试，如果在250K 还能保持80~100t/s，本地模型部署才有意义，要不然干活太慢了，这个时间等不起。

MXFP4 单9700 能跑在80~90 t/s 很稳定。

[张光璞]

@suboyang 说:

@张光璞 双路吗？58t/s 有点慢

现双R9700 单流58 双并发100多。

[suboyang]

@张光璞
MXFP4 这个模型 双卡吗？双卡 MXFP4 单流58 ？

如果MXFP4 单9700 能跑在80~90 t/s 很稳定。 那么双卡至少150t/s ，双卡的方案才成立。

[张光璞]

@suboyang 说:

@张光璞
MXFP4 这个模型 双卡吗？双卡 MXFP4 单流58 ？

现在感觉双卡更多的是高并发

[suboyang]

@张光璞

双卡性能最大的问题就在这。我是用本地模型写过代码，58t/s 这个速度我最后是放弃了。这个时间根本等不起，一个脚本的输出，很多需要1小时以上。换成deepseek大模型10分钟搞定。

如果在长上下文，双卡单流58t/s，那折腾双卡TP意义就不大。这也是我一直不敢搞的原因，双卡TP必须有绝对性能优势单流 150t/s 以上，做这个方案才可以真的干活。

Deepseek 是250t/s, 本地模型速度虽然不能完全去比，但是至少得有50%的效率，才有折腾的意义。做项目，本地模型双卡TP如果需要5倍以上的时间，那意义不大。