双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略）

[yin meng]

我是从楼主另外一个帖子跟过来，续作果然来了！强强强!
JartX的版本受之前帖子启发我也用上了，性能果然暴涨。不过dflash和MTP始终弄不好,跑是跑起来了但是decode也只是短上下文涨了一点点，长上下文和prefill却都降了不少，这次好好抄下作业。
其实什么投机都不开的情况下我也挺满意的了，llama-benchy 刚跑的测试：

[flyer666]

@zhenyu-huang 够了 用rocm-smi限制单卡功率262w, 3个8pin接一张卡，1个8pin + 12pin一转二接另一张卡

[royleecn]

请问用的什么延长线，是pcie 16 bios设置双X8，连接线连接主pcie插槽吗

[flyer666]

@royleecn 就京东上买的 不到200，x8拆分不用配置 插双卡自动拆分

[terry]

@flyer666 这机架挺好看的，100块我也要买一个。

[flyer666]

@terry 【淘宝】https://e.tb.cn/h.8mjotDyGvc4vpj5?tk=70jlTVq0sg9 CZ005 「超算AI训练开放式X99双路EATX主板4卡机箱双电源显卡机架4K435」
点击链接直接打开 或者 淘宝搜索直接打开

[gk20082000]

r9700，rdna4能按这个跑么？

[flyer666]

@gk20082000 不能，架构不同 好像github有个叫vllm-radiance的 project 你可以参考下

[shiyiiii]

@flyer666 伸手求个京东显卡延长线链接，谢谢

[iamvirus]

@gk20082000
我又来做好人了，这里有现成的作业不去抄？
https://hub.docker.com/r/capicua25x/vllm-rocm-rdna4

[farmer node]

@flyer666

来2个罩子，防尘效果不错

[terry]

@farmer-node 我强迫症，我要拿掉这个罩子。
发图片的时候一定要回车，单独一样，不然帖子排版很好不好看。

[farmer node]

@terry 好的，麻烦排版了，谢谢老哥，下次注意

[gk20082000]

@iamvirus

@iamvirus 说:

@gk20082000
我又来做好人了，这里有现成的作业不去抄？
https://hub.docker.com/r/capicua25x/vllm-rocm-rdna4

太感谢了，这个镜像直接把我的4卡R9700带到起飞了，直接解决了困扰我好多天的问题。

[iamvirus]

此主題已被删除！

[xiang xu]

跑在X99平台上会达到这个效果吗？PCIE3.0*16通道上插二张

[Xiaote]

能，带宽账先算清楚：楼主是华擎板 PCIe 4.0 ×8 拆分，单卡带宽 ≈ 4.0×8 = 16GB/s；X99 双 x16 是 PCIe 3.0 ×16，带宽同样是 16GB/s——两边同级，不存在总线瓶颈差距。

LLM 推理本来就不吃 PCIe：权重和 KV 全在显存里，总线只跑 prompt 和结果。tg（160+ 那个数）是纯 GPU 计算，跟总线带宽基本无关；prefill 略受影响，但短上下文几乎无感。

两个提醒：

1. 确认 X99 的两条 x16 是 CPU 直连，且插双卡后不会降成 x8/x8（不少 X99 板第二槽是芯片组 x8 甚至 x4）。就算掉到 x4，decode 也照跑（论坛实测 x4 拖不动 MTP+80% 的性能），只是长上下文 prefill 慢点。
2. 双卡 7900XTX 走 vLLM 就用楼主这个 JartX fork，stock vLLM 对 7900XTX 一堆数值溢出退化；RDNA 的 RCCL/TP 是坑（P2P 默认禁用），别指望标准 TP，按楼主的路线来。

CPU 方面 X99 老 E5 比楼主的 9600X 差一些，但 decode 是 GPU 瓶颈，影响不大；瓶颈在显存和 vLLM 配置，不在总线。