單張R9700 AI PRO 32G + VLLM + amd/Qwen3.8-27B-Quark-AWQ-MXFP4

[paul hou]

@terry
我沒有R9700雙卡，SGLang測試的重大任務，要交給其他大神了。
我是寫MCU程式的，實作前都會先想好流程圖，都是一個功能開一個新會話，所以很少會有什麼長鏈任務，只有發生幾次DEBUG時單一輪對話的輸入TOKEN超過了100M，壓縮了2-3次，也沒出什麼問題。
我現在是一直跟你的步驟在走，CURSOR->TRAE->HERMES->DEEPSEEK HARNESS。
HERMES的主要工作都是安裝和設定虛擬機，和文書工作，寫使用說明書之類的，沒在寫程式。
寫程式現在也是不太用TRAE了，DSH又快又好。

[paul hou]

今天工作使用新的magiccodingman/vllm-radiance 1.0.16 + vllm 0.28.0版本。
單卡的效率不如stilldeadcode/vllm-radiance:0.9.3 + vllm 0.27.1版本
也有查了一下老外他們的評語，單卡用0.9.3，雙卡用1.0.16。
要抄作業的同學要注意。
緩存命中不用在意，那是DSH接受格式的問題，叫HERMES改一下就會正常了。

今天的

上星期五的

[linkdesu]

感谢分享，magiccodingman/vllm-radiance 这个镜像真的提升太大了，看到 nami ryuu
分享原帖是这里特别来感谢一下

[williamlouis]

vllm 我跑了。长链接会智障。跑个程序开发。就跑一半多点。任务很LOW。自己写都能搞定。（简单任务而已，只改一个操作反馈）。
重新搞了下流程。每次思考要先搜索再开始。有了很大的改善。

[Ali Jiang]

感谢分享，昨天双卡r9700 也用上了 magiccodingman/vllm-radiance ，速度快的让人难以置信，tps基本都在100以上，感觉是黑科技一样

[fcme]

@Luke-Mao
这个是针对单卡的包吧，你是怎么用在双卡上的？速度有接近翻倍么？相比楼主的测试来说。

[paul hou]

@fcme
https://github.com/magiccodingman/vllm-radiance

這個方案就是針對雙卡的，不過這個已經算很舊了。
paiton還是能調整出雙卡用的。

[fcme]

@paul-hou
是啊，现在有了AI的帮助小众的需求也是有无限可能了

[jatwu]

@williamlouis 是的，我现在用的双卡转到 SGLang 上，打了 N 多补丁，现在跑单路 116t/s，基本满足 8-10 人并发使用

[fcme]

@jatwu
我去，双卡就这么牛逼的嘛。请问你用的是哪个库，还是说是你自己？定制的？又或者说是你用了某个开源库，然后自己又打的补丁？

[jatwu]

参考分块 W4 内核，W4A8，RDNA 卡间通信，用 AI 一点一点调，移植，打补丁，搞了 1 个星期的测试，累的跟狗一样。等我测试完下一个，给大家公开一版。

[David Chen]

有個問題W4A8妳使用的引擎有直接支援嘛？如果沒有，可能會多一層轉換W4A8 -> W4A4...這樣可能反而浪費效率?

[jatwu]

@David-Chen 移植，Debug，打补丁，W4A8（解码 / 验证）+ W4A16（大批预填），你可以让ai试着帮你，我现在在测试SGLang+EXL3跑qwen3.8-flash-next

[jatwu]

我找时间测一下W4A4

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f1529-1142-1（系统自动发放，显示稍有延迟）