R9700的定制版Qwen3.8 27b又来了
-
Halogen / R9700 定制版性能测试
Halogen 让 AI Max 395 一下子牛逼了，现在 R9700 也有了定制版，号称 Prefill 干到 3000+ tok/s。
有兴趣的可以试试：
https://github.com/GGZ14/vllm-mxfp4
Decode 性能
Category Update P50 Decode 速度 Chat 42.3 ms 67.1 tok/s Code 42.5 ms 120.5 tok/s File Edit 42.5 ms 138.0 tok/s JSON 42.4 ms 153.1 tok/s Math 42.5 ms 140.0 tok/s Prose 42.3 ms 69.2 tok/s Reasoning 34.3 ms 123.9 tok/s Summarization 34.2 ms 141.7 tok/s
Prefill 性能
Prefill Depth Prefill 速度 2K 3552 tok/s 8K 3536 tok/s 16K 3619 tok/s 32K 3437 tok/s 64K 3192 tok/s 64K Context 下依然能维持 3192 tok/s，16K 更是达到 3619 tok/s。
并发性能
并发数 总吞吐 1 120 tok/s 2 215 tok/s 4 322 tok/s 8 471 tok/s
简单看一下数据
- Prefill： 基本稳定在 3000–3600 tok/s
- Decode： 根据任务类型，大约 67–153 tok/s
- 单并发： 约 120 tok/s
- 4 并发： 总吞吐约 322 tok/s
- 8 并发： 总吞吐已经达到 471 tok/s
- 长上下文 Prefill： 到 64K 仍有 3192 tok/s
如果这些数据在实际 Agent 工作负载下也能稳定复现，那 R9700 这套方案就相当有意思了。
-
-
Halogen / R9700 定制版性能测试
Halogen 让 AI Max 395 一下子牛逼了，现在 R9700 也有了定制版，号称 Prefill 干到 3000+ tok/s。
有兴趣的可以试试：
https://github.com/GGZ14/vllm-mxfp4
Decode 性能
Category Update P50 Decode 速度 Chat 42.3 ms 67.1 tok/s Code 42.5 ms 120.5 tok/s File Edit 42.5 ms 138.0 tok/s JSON 42.4 ms 153.1 tok/s Math 42.5 ms 140.0 tok/s Prose 42.3 ms 69.2 tok/s Reasoning 34.3 ms 123.9 tok/s Summarization 34.2 ms 141.7 tok/s
Prefill 性能
Prefill Depth Prefill 速度 2K 3552 tok/s 8K 3536 tok/s 16K 3619 tok/s 32K 3437 tok/s 64K 3192 tok/s 64K Context 下依然能维持 3192 tok/s，16K 更是达到 3619 tok/s。
并发性能
并发数 总吞吐 1 120 tok/s 2 215 tok/s 4 322 tok/s 8 471 tok/s
简单看一下数据
- Prefill： 基本稳定在 3000–3600 tok/s
- Decode： 根据任务类型，大约 67–153 tok/s
- 单并发： 约 120 tok/s
- 4 并发： 总吞吐约 322 tok/s
- 8 并发： 总吞吐已经达到 471 tok/s
- 长上下文 Prefill： 到 64K 仍有 3192 tok/s
如果这些数据在实际 Agent 工作负载下也能稳定复现，那 R9700 这套方案就相当有意思了。
-
Halogen / R9700 定制版性能测试
Halogen 让 AI Max 395 一下子牛逼了，现在 R9700 也有了定制版，号称 Prefill 干到 3000+ tok/s。
有兴趣的可以试试：
https://github.com/GGZ14/vllm-mxfp4
Decode 性能
Category Update P50 Decode 速度 Chat 42.3 ms 67.1 tok/s Code 42.5 ms 120.5 tok/s File Edit 42.5 ms 138.0 tok/s JSON 42.4 ms 153.1 tok/s Math 42.5 ms 140.0 tok/s Prose 42.3 ms 69.2 tok/s Reasoning 34.3 ms 123.9 tok/s Summarization 34.2 ms 141.7 tok/s
Prefill 性能
Prefill Depth Prefill 速度 2K 3552 tok/s 8K 3536 tok/s 16K 3619 tok/s 32K 3437 tok/s 64K 3192 tok/s 64K Context 下依然能维持 3192 tok/s，16K 更是达到 3619 tok/s。
并发性能
并发数 总吞吐 1 120 tok/s 2 215 tok/s 4 322 tok/s 8 471 tok/s
简单看一下数据
- Prefill： 基本稳定在 3000–3600 tok/s
- Decode： 根据任务类型，大约 67–153 tok/s
- 单并发： 约 120 tok/s
- 4 并发： 总吞吐约 322 tok/s
- 8 并发： 总吞吐已经达到 471 tok/s
- 长上下文 Prefill： 到 64K 仍有 3192 tok/s
如果这些数据在实际 Agent 工作负载下也能稳定复现，那 R9700 这套方案就相当有意思了。
数字能看，但两个 fork 的口径先拆开，不然收益会算重。
- 表里的 decode t/s (med) 是各 category 的中位数，输出长度差很多：json/math/summarization 这类短输出天然拉高中位数，chat/prose（67–69 t/s）才接近长文稳态。@johnnybegood 说的 3090 code 190+ 是另一种口径（模型/量化/上下文都不同），跨卡比之前先把这三个变量对齐。
- Prefill 3000 t/s 在 27B 上不是不可能，前提是权重真按 FP4/MXFP4 参与 GEMM、KV 用 FP8。RDNA4 上 FP8 是原生矩阵路径；MXFP4 是走原生低精度还是 unpack 后再算，要看 vLLM 日志里的实际 dtype —— 若权重被 dequant 回 FP16，prefill 会明显掉档。
- 两个 fork 别混比：GGZ14 的 mxfp4 和 paiton 的 0.29.0/ROCm 10，模型（Unsloth NVFP4）、vLLM 版本、ROCm 版本三个变量同时在动。要对比就固定模型和 prompt 集，pp/tg 分开报，关掉 prefix cache。
- 验证：同一起点新起进程，固定 1k/4k/16k/32k 输入各跑一遍；rocm-smi 看显存带宽利用率和有没有 host offload；decode 取长输出（≥512 token）的稳态值。
NVFP4 权重在 ROCm 上能不能真跑起来，是这套方案成不成立的关键，跑通的话把 dtype 和 pp/tg 曲线贴出来一起看。
-
正名一下，GGZ14是原始版本，不是FORK
已知FORK是
https://github.com/magiccodingman/vllm-radiance
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main -
正名一下，GGZ14是原始版本，不是FORK
已知FORK是
https://github.com/magiccodingman/vllm-radiance
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main -
正名一下，GGZ14是原始版本，不是FORK
已知FORK是
https://github.com/magiccodingman/vllm-radiance
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main
-
-
-
R9700 32G 疯涨的原因找到了。
