單R9700 + VLLM(GGZ14/vllm-mxfp4) + unsloth/Qwen3.8-27B-NVFP4 測試
-
-
我手上用着3090x2
看到这个帖我有冲动买 r9700 -
@applejuice
CUDA才是王道，R9700是窮人家的玩具。 -
-
-
，系统 取消固定了此主题
-
-
@张光璞 我也是R9700用家，上載給大家參考一下
-
-
-
-
@alan.lgv60 你们都是怎么做到的？
@Magic629 我的配置就是照抄 paul hou 的作业，自己没怎么调过。
硬件：
- 显卡：单张 R9700 32G（ReBAR 开，PCIe 4.0 x8）
- CPU：Intel Core i9-13900HK ES（14C/20T）
- 内存：32G DDR4
- 功耗上限：260W
软件（全部照 paul hou 帖里的 paiton 方案来）：
- 镜像：
ghcr.io/eliovp/paiton-vllm-plugin - 模型：
amd/Qwen3.8-27B-Quark-AWQ-MXFP4 - 投机解码 draft：
tcclaviger/Qwen3.8-27B-DFlash2-FP8（dflash，7 tokens） - 上下文 200K，KV cache fp8（8G），prefix caching 开
实际跑起来：
日常跑 agent 的时候，DSH WebUI 状态栏大概 115 tok/s，cache 命中 91%。
要说明的是，这个 115 不是裸 benchmark 的 decode 速度 —— 91% 的输入命中缓存了，所以平均偏高。真要对比裸测数字，还是看 paul hou 帖里的 PP/TG 数据更准。
归根到底就是那套作业一字不改抄下来，能跑通就行。
-
@Magic629 我的配置就是照抄 paul hou 的作业，自己没怎么调过。
硬件：
- 显卡：单张 R9700 32G（ReBAR 开，PCIe 4.0 x8）
- CPU：Intel Core i9-13900HK ES（14C/20T）
- 内存：32G DDR4
- 功耗上限：260W
软件（全部照 paul hou 帖里的 paiton 方案来）：
- 镜像：
ghcr.io/eliovp/paiton-vllm-plugin - 模型：
amd/Qwen3.8-27B-Quark-AWQ-MXFP4 - 投机解码 draft：
tcclaviger/Qwen3.8-27B-DFlash2-FP8（dflash，7 tokens） - 上下文 200K，KV cache fp8（8G），prefix caching 开
实际跑起来：
日常跑 agent 的时候，DSH WebUI 状态栏大概 115 tok/s，cache 命中 91%。
要说明的是，这个 115 不是裸 benchmark 的 decode 速度 —— 91% 的输入命中缓存了，所以平均偏高。真要对比裸测数字，还是看 paul hou 帖里的 PP/TG 数据更准。
归根到底就是那套作业一字不改抄下来，能跑通就行。
-
我手上用着3090x2
看到这个帖我有冲动买 r9700 -
看到这个帖我有冲动买 r9700
哈哈 我跟你一樣有這個衝動
-
@kos-or
买！这个库是新出的，有了这个库以后跑27b的FP4模型3000以上的pp速度和100左右的tg在本地模型里面就是最甜的甜点了，综合了价格和性能，还有输出质量。
唯一的缺憾就是这个库的底层用的是vllm，框架开销比较大。我晕下来不带识图的话，上下文可以开到240左右，开了识图以后，上下文也就只能开到200~210k。基本上就把32g的显存跑满了。 -
@fcme 据了解 这次的速度提升不在mxfp4 而是社区优化了 vllm/sglang
mxfp4 只是用更小的vram -
@applejuice
不是，速度起来是因为R9700本身是支持FP4的，这次这个框架可以把nvfp4的模型转换为AMD的mxfp4，这样就能充分利用9700的FP4能力了。纳闷为啥以前没人弄这个，估计也是和现在AI能力强了以后有想法的牛人更加可以用Claude之类牛逼模型把这么小众的需求给满足了。根本上还是5090太贵了吧，狗头保命，哈哈。 -
，
T terry 固定了此主题
-
-
@kos-or
买！这个库是新出的，有了这个库以后跑27b的FP4模型3000以上的pp速度和100左右的tg在本地模型里面就是最甜的甜点了，综合了价格和性能，还有输出质量。
唯一的缺憾就是这个库的底层用的是vllm，框架开销比较大。我晕下来不带识图的话，上下文可以开到240左右，开了识图以后，上下文也就只能开到200~210k。基本上就把32g的显存跑满了。 -
@applejuice
不是，速度起来是因为R9700本身是支持FP4的，这次这个框架可以把nvfp4的模型转换为AMD的mxfp4，这样就能充分利用9700的FP4能力了。纳闷为啥以前没人弄这个，估计也是和现在AI能力强了以后有想法的牛人更加可以用Claude之类牛逼模型把这么小众的需求给满足了。根本上还是5090太贵了吧，狗头保命，哈哈。@xiaote 可以解释吗？
！