X99 + 双 AMD Radeon AI PRO R9700 跑通跨 Root Port P2P：从内核、RCCL 到 SGLang Qwen3.8 实战
-
@张光璞 单独更新个帖子可以，详细弄下数据。其实最主要的，我不希望大家总是发一大堆内容，就几个关键的，吐字速度，长上下文多并发的实际使用体验。然后再展开prefill，decode等具体数据，先给结论。这玩意能普及，也算是开了个新的玩法。
-
@fcme 弟人家这个帖子是的关键是速度吗？人家是打通P2P，第一这是个人实验项目，刚刚开始，以后还可以优化。解决的是有无问题，是原创，就算纯粹从炫技的角度来看，也很有意义。它不是我发现了某个插件，某个方案很牛逼，这种技能很多人都能掌握，并不特别值得炫耀。
第二，PP在有SGLang的情况下，影响并不那么大，Agent场景只做增量Prefill，并不会一直做如此大的Prefill工作，所以可以接受。还是有应用价值的，不是所有场景都看测试数据的。
第三，这个方案对24G的7900XTX意义很大，它没有mxfp4的红利，可以抄作业，只要用上SGLang，双卡TP的意义在过往的帖子中有过大量测试，很有意义。
第四，VLLM有它的强项，也有弱项，Agent上它就是不如SGLang，不如NInfer，HaloGen，它没有硬核增量缓存计算，更没有跨会话缓存复用，并不是数字好看，体验就好的。
第五，对VLLM的用户而言，在X99上打通P2P难道没意义？你怎么知道人家不会vLLM呢？论坛藏龙卧虎，低调交流。不能总学我，有点知识就吹牛逼，我都被打脸太多次，不太在乎了。谦虚使人进步，骄傲使人落后。
-
-
@fcme 很多人都搞起来了，双7900XTX 4路并发长上下文都跑了，这对AMD用户太重要了。现在就是DDR4平台的板子太贵，大家想要解决X99这样的DDR3平台双卡TP的问题，这真的是非常重要。
-
对啊，2%不到的差距没啥可担心的，Agent时代验收一下就可以了，也就可能是有时候需要多做个一步两步的。我现在发现搭配的agent某种程度上更重要，dsh明显比Hermes干活的效率要高。
-
-
-
现在最大的问题是，Qwen3.8-27B-MXFP4 这类模型，我还没有看到双卡 R9700 可以稳定100t/s 以上的，尤其是250K上下文的测试，如果在250K 还能保持80~100t/s，本地模型部署才有意义，要不然干活太慢了，这个时间等不起。
-
-
-
@张光璞
MXFP4 这个模型 双卡吗？双卡 MXFP4 单流58 ？如果MXFP4 单9700 能跑在80~90 t/s 很稳定。 那么双卡至少150t/s ，双卡的方案才成立。
-
双卡性能最大的问题就在这。我是用本地模型写过代码，58t/s 这个速度我最后是放弃了。这个时间根本等不起，一个脚本的输出，很多需要1小时以上。换成deepseek大模型10分钟搞定。
如果在长上下文，双卡单流58t/s，那折腾双卡TP意义就不大。这也是我一直不敢搞的原因，双卡TP必须有绝对性能优势单流 150t/s 以上，做这个方案才可以真的干活。
Deepseek 是250t/s, 本地模型速度虽然不能完全去比，但是至少得有50%的效率，才有折腾的意义。做项目，本地模型双卡TP如果需要5倍以上的时间，那意义不大。
-
双卡性能最大的问题就在这。我是用本地模型写过代码，58t/s 这个速度我最后是放弃了。这个时间根本等不起，一个脚本的输出，很多需要1小时以上。换成deepseek大模型10分钟搞定。
如果在长上下文，双卡单流58t/s，那折腾双卡TP意义就不大。这也是我一直不敢搞的原因，双卡TP必须有绝对性能优势单流 150t/s 以上，做这个方案才可以真的干活。
Deepseek 是250t/s, 本地模型速度虽然不能完全去比，但是至少得有50%的效率，才有折腾的意义。做项目，本地模型双卡TP如果需要5倍以上的时间，那意义不大。
双卡性能最大的问题就在这。我是用本地模型写过代码，58t/s 这个速度我最后是放弃了。这个时间根本等不起，一个脚本的输出，很多需要1小时以上。换成deepseek大模型10分钟搞定。
如果在长上下文，双卡单流58t/s，那折腾双卡TP意义就不大。这也是我一直不敢搞的原因，双卡TP必须有绝对性能优势单流 150t/s 以上，做这个方案才可以真的干活。
Deepseek 是250t/s, 本地模型速度虽然不能完全去比，但是至少得有50%的效率，才有折腾的意义。做项目，本地模型双卡TP如果需要5倍以上的时间，那意义不大。
确实. 只能把一些优先级比较低的任务, 而且边界/需求描述的比较明确的任务, 在睡觉前交给它, 第二天起床再看看结果. 不过现在线上模型价格好像也没那么贵, 所以就有点尴尬了.
对不能上外网的场景, 一般都是正式的工作内容, 还是有那么一点点意义; 不过既然是正式的工作内容, 太慢了对老板来讲也是不划算的;
对于爱折腾的人来讲, 就是一个不断学习的过程...能达到这一个目标就很好了. 呵呵
-
双卡性能最大的问题就在这。我是用本地模型写过代码，58t/s 这个速度我最后是放弃了。这个时间根本等不起，一个脚本的输出，很多需要1小时以上。换成deepseek大模型10分钟搞定。
如果在长上下文，双卡单流58t/s，那折腾双卡TP意义就不大。这也是我一直不敢搞的原因，双卡TP必须有绝对性能优势单流 150t/s 以上，做这个方案才可以真的干活。
Deepseek 是250t/s, 本地模型速度虽然不能完全去比，但是至少得有50%的效率，才有折腾的意义。做项目，本地模型双卡TP如果需要5倍以上的时间，那意义不大。
确实. 只能把一些优先级比较低的任务, 而且边界/需求描述的比较明确的任务, 在睡觉前交给它, 第二天起床再看看结果. 不过现在线上模型价格好像也没那么贵, 所以就有点尴尬了.
对不能上外网的场景, 一般都是正式的工作内容, 还是有那么一点点意义; 不过既然是正式的工作内容, 太慢了对老板来讲也是不划算的;
对于爱折腾的人来讲, 就是一个不断学习的过程...能达到这一个目标就很好了. 呵呵
-
对，本地模型要能普及，先不提智商程度，必须是真的可以让本地模型的使用者，有一个较为流畅的体验，如果只是跑起来，意义不大。
不过用R9700做做图还行，但是如果这样的话，还不如直接买7900xtx.
-
双卡性能最大的问题就在这。我是用本地模型写过代码，58t/s 这个速度我最后是放弃了。这个时间根本等不起，一个脚本的输出，很多需要1小时以上。换成deepseek大模型10分钟搞定。
如果在长上下文，双卡单流58t/s，那折腾双卡TP意义就不大。这也是我一直不敢搞的原因，双卡TP必须有绝对性能优势单流 150t/s 以上，做这个方案才可以真的干活。
Deepseek 是250t/s, 本地模型速度虽然不能完全去比，但是至少得有50%的效率，才有折腾的意义。做项目，本地模型双卡TP如果需要5倍以上的时间，那意义不大。
确实. 只能把一些优先级比较低的任务, 而且边界/需求描述的比较明确的任务, 在睡觉前交给它, 第二天起床再看看结果. 不过现在线上模型价格好像也没那么贵, 所以就有点尴尬了.
对不能上外网的场景, 一般都是正式的工作内容, 还是有那么一点点意义; 不过既然是正式的工作内容, 太慢了对老板来讲也是不划算的;
对于爱折腾的人来讲, 就是一个不断学习的过程...能达到这一个目标就很好了. 呵呵
-
对，本地模型要能普及，先不提智商程度，必须是真的可以让本地模型的使用者，有一个较为流畅的体验，如果只是跑起来，意义不大。
不过用R9700做做图还行，但是如果这样的话，还不如直接买7900xtx.
现在出行很方便, 共享单车,公交,出租,高铁,飞机...都可以选择. 这也不妨碍自己买小车/电驴/自行车...个人折腾个本地小模型, 就算给自己捣鼓一辆单车玩玩吧.
-
对，本地模型要能普及，先不提智商程度，必须是真的可以让本地模型的使用者，有一个较为流畅的体验，如果只是跑起来，意义不大。
不过用R9700做做图还行，但是如果这样的话，还不如直接买7900xtx.
现在出行很方便, 共享单车,公交,出租,高铁,飞机...都可以选择. 这也不妨碍自己买小车/电驴/自行车...个人折腾个本地小模型, 就算给自己捣鼓一辆单车玩玩吧.
-
-
@suboyang 用线上模型怎样都比本地模型值得
线上模型怎样都比本地模型值得
不谈comfyUI 和其他语音视频生成模型这类模型。
本地模型的重要性：
第一，如果纯编程，是那种逻辑很清晰的情况下，下线模型qwen3.8-27B是可以做大量工作的，并且可以反复测试demo脚本。
第二，本地模型最大的优势是可以弥补API焦虑。例如，有一次去客户现场，我把agent 登录到问题服务器检查问题。事后，我想简单问题还好，如果用量大了，token限流了怎么办？这个时候有个本地模型作为补充，就安心很多了。但是前提是本地模型首先速度得跟得上，
100 token/s 以下基本就做不了这样的工作了。第三，本地模型几乎没有限制，很多渗透爬虫的工作，线上模型有安全模块，不给你做。只有本地模型可以做，而且比较私密。
第四，很多股票分析，大量数据分析那种算MA均线，画量化图那种，你写好pipeline，一个job就十几万token。 线上模型几天就用完了。
当然，所有前提是本地模式的速度得跟得上，准确率可以慢慢等。我现在经常处于这样的状态：
