Halogen / R9700 定制版性能测试
Halogen 让 AI Max 395 一下子牛逼了，现在 R9700 也有了定制版，号称 Prefill 干到 3000+ tok/s。
有兴趣的可以试试：
https://github.com/GGZ14/vllm-mxfp4
Decode 性能
| Category | Update P50 | Decode 速度 |
|---|---|---|
| Chat | 42.3 ms | 67.1 tok/s |
| Code | 42.5 ms | 120.5 tok/s |
| File Edit | 42.5 ms | 138.0 tok/s |
| JSON | 42.4 ms | 153.1 tok/s |
| Math | 42.5 ms | 140.0 tok/s |
| Prose | 42.3 ms | 69.2 tok/s |
| Reasoning | 34.3 ms | 123.9 tok/s |
| Summarization | 34.2 ms | 141.7 tok/s |
Prefill 性能
| Prefill Depth | Prefill 速度 |
|---|---|
| 2K | 3552 tok/s |
| 8K | 3536 tok/s |
| 16K | 3619 tok/s |
| 32K | 3437 tok/s |
| 64K | 3192 tok/s |
64K Context 下依然能维持 3192 tok/s，16K 更是达到 3619 tok/s。
并发性能
| 并发数 | 总吞吐 |
|---|---|
| 1 | 120 tok/s |
| 2 | 215 tok/s |
| 4 | 322 tok/s |
| 8 | 471 tok/s |
简单看一下数据
- Prefill： 基本稳定在 3000–3600 tok/s
- Decode： 根据任务类型，大约 67–153 tok/s
- 单并发： 约 120 tok/s
- 4 并发： 总吞吐约 322 tok/s
- 8 并发： 总吞吐已经达到 471 tok/s
- 长上下文 Prefill： 到 64K 仍有 3192 tok/s
如果这些数据在实际 Agent 工作负载下也能稳定复现，那 R9700 这套方案就相当有意思了。