<![CDATA[双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略）]]>这个周末在家用dsh疯狂pua白嫖来的美国豆包（gemini3.7-flash），用stock vllm 神奇的拉起来了 (Qwen3.8-27B-W4A16-AutoRound-GPTQ)[https://huggingface.co/Vishva007/Qwen3.8-27B-W4A16-AutoRound-GPTQ] 后 pp 1200 tg 50 无mtp后始终不太满意，继续调优，不得不说amd整vllm真是坑，尤其是7900xtx这种连fp8/AITER支持都没有的老架构，各种奇怪的数值溢出退化层出不穷，但好在最终全部搞定。顺便感谢论坛里的大神@iamvirus 的介绍https://github.com/JartX/vllm ，帮我把pp直接暴拉到几乎翻倍。

最后说下体验吧，vllm下开8路并发，llama.cpp下tensor parallel 和Hermes agent对话便秘的感觉（900pp 50tg)完全没了，两个agent同时可以30-40 tg跑毫无压力，三个对话也可以勉强运行，单流70-80tok/s和很多在线api差不多，唯一的问题就是qwen3.8 thinking又臭又长，和在线api实际体验还是慢不少。考虑到这两张卡入的时候加起来不到1万，能跑到现在这个水平很满意了。

我的机器是大体配置是一块终端华擎主板+32g ddr5+amd 9600x，可以做pcie4*8拆分给两张卡

先秀一下具体数值吧，首先短上下文dflash2是绝对的王者，吞吐和单流都比mtp2高至少30%：(只测到8个并发，更高没测过，因为对我来说没啥实用价值），以下是0上下文测出的数据：

并发路数 (Concurrency)	DFlash2 聚合吞吐 (Aggregate TG)	DFlash2 单路速率 (Per-Req TG)	MTP3 聚合吞吐 (Aggregate TG)	MTP3 单路速率 (Per-Req TG)	平均首字延迟 (TTFT)
c = 1	113.25 tok/s	112.36 tok/s	111.41 tok/s	110.54 tok/s	178 ms
c = 2	152.25 tok/s	77.49 tok/s	175.35 tok/s	88.94 tok/s	245 ms
c = 3	177.60 tok/s	71.17 tok/s	204.84 tok/s	70.14 tok/s	350 ms
c = 4	190.95 tok/s	56.45 tok/s	228.10 tok/s	67.44 tok/s	419 ms
c = 5	211.76 tok/s	52.13 tok/s	254.79 tok/s	52.41 tok/s	490 ms
c = 6	218.84 tok/s	44.23 tok/s	300.53 tok/s	51.73 tok/s	596 ms
c = 7	249.90 tok/s	39.18 tok/s	289.66 tok/s	44.11 tok/s	703 ms
c = 8	379.85 tok/s 🏆	50.18 tok/s	339.59 tok/s	43.74 tok/s	770 ms

下面祭出dflash2论文中的最优workload（解数学题），可以看到150tok/s，实测有的题能到180tok/s，懒得找了

9f71f84d-8f11-4b2f-b75a-6a278d053629-image.jpeg

长上下文8k+ mtp和dflash就逐渐打平，但是mtp发挥往往比较稳定（tg随上下文稳定下降），dflash经常一会50 一会80随生成内容而跳，一般来说在80k上下，单流基本能在50-70之间，160k以上会一起退化到30. 以下是我用一个真实的dsh的session 文件 (80k context)一步步重放测出来的数值：
f2dd6e28-d742-4b34-becd-91860f2777fd-image.jpeg

考虑到dflash占用了宝贵的显存，目前稳定跑还是切回了mtp，实测慢不了多少，kv的提升是实实在在的。

65ef1a16-4950-4fd0-b5d2-39ced85a0f85-image.jpeg

下面直接上教程，我把vllm简单fork一下把改动放进了一个单独的branch：https://github.com/StevenChenSE/vllm/tree/feat/dflash-perf-opt 找个能扛事的在线llm api和称手的harness让他照着这个README.md来搞，注意目前我这个是裸机跑的，所以你得让手动编译一下kernel，但也不是太复杂，就找harness自己搞就行。

]]>https://lcz.me/topic/1363RSS for NodeMon, 07 Sep 2026 14:34:53 GMTThu, 27 Aug 2026 13:54:37 GMT60<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Tue, 01 Sep 2026 13:05:36 GMT]]>能，带宽账先算清楚：楼主是华擎板 PCIe 4.0 ×8 拆分，单卡带宽 ≈ 4.0×8 = 16GB/s；X99 双 x16 是 PCIe 3.0 ×16，带宽同样是 16GB/s——两边同级，不存在总线瓶颈差距。

LLM 推理本来就不吃 PCIe：权重和 KV 全在显存里，总线只跑 prompt 和结果。tg（160+ 那个数）是纯 GPU 计算，跟总线带宽基本无关；prefill 略受影响，但短上下文几乎无感。

两个提醒：

  1. 确认 X99 的两条 x16 是 CPU 直连，且插双卡后不会降成 x8/x8（不少 X99 板第二槽是芯片组 x8 甚至 x4）。就算掉到 x4，decode 也照跑（论坛实测 x4 拖不动 MTP+80% 的性能），只是长上下文 prefill 慢点。
  2. 双卡 7900XTX 走 vLLM 就用楼主这个 JartX fork，stock vLLM 对 7900XTX 一堆数值溢出退化；RDNA 的 RCCL/TP 是坑（P2P 默认禁用），别指望标准 TP，按楼主的路线来。

CPU 方面 X99 老 E5 比楼主的 9600X 差一些，但 decode 是 GPU 瓶颈，影响不大；瓶颈在显存和 vLLM 配置，不在总线。

]]>https://lcz.me/post/15343https://lcz.me/post/15343Tue, 01 Sep 2026 13:05:36 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Tue, 01 Sep 2026 12:32:53 GMT]]>跑在X99平台上会达到这个效果吗？PCIE3.0*16通道上插二张

]]>https://lcz.me/post/15338https://lcz.me/post/15338Tue, 01 Sep 2026 12:32:53 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sun, 30 Aug 2026 18:07:57 GMT]]>@iamvirus

@iamvirus 说:

@gk20082000
我又来做好人了，这里有现成的作业不去抄？
https://hub.docker.com/r/capicua25x/vllm-rocm-rdna4

太感谢了，这个镜像直接把我的4卡R9700带到起飞了，直接解决了困扰我好多天的问题。

]]>https://lcz.me/post/15005https://lcz.me/post/15005Sun, 30 Aug 2026 18:07:57 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sun, 30 Aug 2026 08:48:08 GMT]]>@terry 好的，麻烦排版了，谢谢老哥，下次注意

]]>https://lcz.me/post/14934https://lcz.me/post/14934Sun, 30 Aug 2026 08:48:08 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sun, 30 Aug 2026 08:37:56 GMT]]>@farmer-node 我强迫症，我要拿掉这个罩子。😢
发图片的时候一定要回车，单独一样，不然帖子排版很好不好看。

]]>https://lcz.me/post/14928https://lcz.me/post/14928Sun, 30 Aug 2026 08:37:56 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sun, 30 Aug 2026 08:37:12 GMT]]>@flyer666
e9f03736-a57f-422e-9b8a-0026705eb2f7-image.jpeg e77aa5c9-79e4-4148-ba12-dd60010f1807-image.jpeg
来2个罩子，防尘效果不错

]]>https://lcz.me/post/14920https://lcz.me/post/14920Sun, 30 Aug 2026 08:37:12 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sun, 30 Aug 2026 07:27:38 GMT]]>@gk20082000
我又来做好人了，这里有现成的作业不去抄？
https://hub.docker.com/r/capicua25x/vllm-rocm-rdna4

]]>https://lcz.me/post/14907https://lcz.me/post/14907Sun, 30 Aug 2026 07:27:38 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sun, 30 Aug 2026 03:11:37 GMT]]>@flyer666 伸手求个京东显卡延长线链接，谢谢

]]>https://lcz.me/post/14879https://lcz.me/post/14879Sun, 30 Aug 2026 03:11:37 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sun, 30 Aug 2026 03:07:42 GMT]]>@gk20082000 不能，架构不同 好像github有个叫vllm-radiance的 project 你可以参考下

]]>https://lcz.me/post/14878https://lcz.me/post/14878Sun, 30 Aug 2026 03:07:42 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sun, 30 Aug 2026 02:37:17 GMT]]>r9700，rdna4能按这个跑么？

]]>https://lcz.me/post/14876https://lcz.me/post/14876Sun, 30 Aug 2026 02:37:17 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sat, 29 Aug 2026 14:17:59 GMT]]>@terry 【淘宝】https://e.tb.cn/h.8mjotDyGvc4vpj5?tk=70jlTVq0sg9 CZ005 「超算AI训练开放式X99双路EATX主板4卡机箱双电源显卡机架4K435」
点击链接直接打开 或者 淘宝搜索直接打开

]]>https://lcz.me/post/14803https://lcz.me/post/14803Sat, 29 Aug 2026 14:17:59 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sat, 29 Aug 2026 10:44:04 GMT]]>@flyer666 这机架挺好看的，100块我也要买一个。

]]>https://lcz.me/post/14770https://lcz.me/post/14770Sat, 29 Aug 2026 10:44:04 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sat, 29 Aug 2026 07:27:21 GMT]]>@royleecn 就京东上买的 不到200，x8拆分不用配置 插双卡自动拆分

]]>https://lcz.me/post/14741https://lcz.me/post/14741Sat, 29 Aug 2026 07:27:21 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Sat, 29 Aug 2026 04:38:46 GMT]]>请问用的什么延长线，是pcie 16 bios设置双X8，连接线连接主pcie插槽吗

]]>https://lcz.me/post/14715https://lcz.me/post/14715Sat, 29 Aug 2026 04:38:46 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Fri, 28 Aug 2026 13:39:31 GMT]]>@zhenyu-huang 够了 用rocm-smi限制单卡功率262w, 3个8pin接一张卡，1个8pin + 12pin一转二接另一张卡

]]>https://lcz.me/post/14628https://lcz.me/post/14628Fri, 28 Aug 2026 13:39:31 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Fri, 28 Aug 2026 13:20:38 GMT]]>我是从楼主另外一个帖子跟过来，续作果然来了！强强强!
JartX的版本受之前帖子启发我也用上了，性能果然暴涨。不过dflash和MTP始终弄不好,跑是跑起来了但是decode也只是短上下文涨了一点点，长上下文和prefill却都降了不少，这次好好抄下作业。
其实什么投机都不开的情况下我也挺满意的了，llama-benchy 刚跑的测试：

5f98f84d-fe7b-4a47-b16a-92cec24aa9e8-image.jpeg

]]>https://lcz.me/post/14624https://lcz.me/post/14624Fri, 28 Aug 2026 13:20:38 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Fri, 28 Aug 2026 09:24:25 GMT]]>什么电源啊 双卡7900xtx有6个8pin口 我振华电源1200瓦是 4个8pin口加一个600瓦的12pin的口

]]>https://lcz.me/post/14594https://lcz.me/post/14594Fri, 28 Aug 2026 09:24:25 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Thu, 27 Aug 2026 15:47:34 GMT]]>@flyer666 看到了，谢啦

]]>https://lcz.me/post/14436https://lcz.me/post/14436Thu, 27 Aug 2026 15:47:34 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Thu, 27 Aug 2026 15:28:18 GMT]]>@farmer-node
看我repo啊，只能用我这个branch 跑起来，修了一堆bug和优化

https://github.com/StevenChenSE/vllm/tree/feat/dflash-perf-opt

]]>https://lcz.me/post/14429https://lcz.me/post/14429Thu, 27 Aug 2026 15:28:18 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Thu, 27 Aug 2026 15:17:08 GMT]]>楼主参数是什么呢？ 用的是和之前一样的模型和参数吗？

]]>https://lcz.me/post/14425https://lcz.me/post/14425Thu, 27 Aug 2026 15:17:08 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Thu, 27 Aug 2026 15:02:39 GMT]]>感謝 !! 看來雙卡流效益真不錯 ～又多了一個作業了～抄

]]>https://lcz.me/post/14420https://lcz.me/post/14420Thu, 27 Aug 2026 15:02:39 GMT<![CDATA[Reply to 双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略） on Thu, 27 Aug 2026 14:48:07 GMT]]>那就这样。你没机箱封闭。这样也没问题。

]]>https://lcz.me/post/14412https://lcz.me/post/14412Thu, 27 Aug 2026 14:48:07 GMT