單張R9700 AI PRO 32G + VLLM + amd/Qwen3.8-27B-Quark-AWQ-MXFP4
-
@terry 我双卡R9700 以前一直用fp8 sglang 三并发 速度很慢，而且经常任务中断；昨天刚刚抄了这个作业，不过我部署在双卡上，速度明显快了很多，目前运行任务也非常顺畅。
-
-
@fcme
https://github.com/magiccodingman/vllm-radiance這個方案就是針對雙卡的，不過這個已經算很舊了。
paiton還是能調整出雙卡用的。 -
vllm 我跑了。长链接会智障。跑个程序开发。就跑一半多点。任务很LOW。自己写都能搞定。（简单任务而已，只改一个操作反馈）。
重新搞了下流程。每次思考要先搜索再开始。有了很大的改善。 -
@williamlouis 是的，我现在用的双卡转到 SGLang 上，打了 N 多补丁，现在跑单路 116t/s，基本满足 8-10 人并发使用
-
-
-
有個問題W4A8妳使用的引擎有直接支援嘛？如果沒有，可能會多一層轉換W4A8 -> W4A4...這樣可能反而浪費效率?
-
-
版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！