双卡7900xtx VLLM qwen3.8 爽玩agent pp1600 tg 160+ (附 mtp/7900xtx全攻略）

[farmer node]

陌拜大神，大神威武

[williamlouis]

不错。很有价值。上个主机的帅照就更完美了。

[flyer666]

这个 哈哈，淘宝100块的架子，无敌散热，就是孩子大了得保护一下

[williamlouis]

双卡应该 背靠背 更合理。

[flyer666]

有道理，我也想双卡分开点，但是pcie延长线比较贵也有损耗。背靠背的问题是架子支持一个方向固定螺丝

[williamlouis]

那就这样。你没机箱封闭。这样也没问题。

[kos or]

感謝 !! 看來雙卡流效益真不錯 ～又多了一個作業了～抄

[farmer node]

楼主参数是什么呢？ 用的是和之前一样的模型和参数吗？

[flyer666]

@farmer-node
看我repo啊，只能用我这个branch 跑起来，修了一堆bug和优化

https://github.com/StevenChenSE/vllm/tree/feat/dflash-perf-opt

[farmer node]

@flyer666 看到了，谢啦

[yang song]

此主題已被删除！

[zhenyu huang]

什么电源啊 双卡7900xtx有6个8pin口 我振华电源1200瓦是 4个8pin口加一个600瓦的12pin的口

[yin meng]

我是从楼主另外一个帖子跟过来，续作果然来了！强强强!
JartX的版本受之前帖子启发我也用上了，性能果然暴涨。不过dflash和MTP始终弄不好,跑是跑起来了但是decode也只是短上下文涨了一点点，长上下文和prefill却都降了不少，这次好好抄下作业。
其实什么投机都不开的情况下我也挺满意的了，llama-benchy 刚跑的测试：

[flyer666]

@zhenyu-huang 够了 用rocm-smi限制单卡功率262w, 3个8pin接一张卡，1个8pin + 12pin一转二接另一张卡

[royleecn]

请问用的什么延长线，是pcie 16 bios设置双X8，连接线连接主pcie插槽吗

[flyer666]

@royleecn 就京东上买的 不到200，x8拆分不用配置 插双卡自动拆分

[terry]

@flyer666 这机架挺好看的，100块我也要买一个。

[flyer666]

@terry 【淘宝】https://e.tb.cn/h.8mjotDyGvc4vpj5?tk=70jlTVq0sg9 CZ005 「超算AI训练开放式X99双路EATX主板4卡机箱双电源显卡机架4K435」
点击链接直接打开 或者 淘宝搜索直接打开

[gk20082000]

r9700，rdna4能按这个跑么？

[flyer666]

@gk20082000 不能，架构不同 好像github有个叫vllm-radiance的 project 你可以参考下