地址：https://github.com/peonist-ai/halogen-flash-server
按照作者说法，是硬件匹配模型的1对1特殊优化，所以能这么牛逼
拉取docker安装试了，确实能达到他说的速度，并且质量我没看出有啥大的衰减
本来觉得aimax395就一台鸡肋，这个模型让它成为现在性价比最高的选择了

@dardeaw-feng 对，可能版主不怎么玩AImax395，不知道这个模型出来对这机器意味着什么。以前这机器就一鸡肋，要么只能慢速跑好一点的模型如27b和flash，想要速度只能跑35B A3B这种，和DG Spark这种可以作为生产力的机器差距巨大。这个模型能跑出这个速度说明了机器潜力足够，完全也可以和DG Spark一样成为生产力，而且性价比高得多。

@terry 配好了也用了1天多了，基本和说明文档的一致，prefill从标准版的300左右直接飙升到1000以上，Decode稳定在40左右，体验比其他任何模型都好了太多，质量没有问题，作者也出了qwen3.8 27b的一对一优化版。现在DGX Spark涨价，价格快是AImax395一倍的价格了，AImax395性价比一下子起来了。具体技术方面的分析请@dardeaw-feng 来说下吧，总之海外论坛的人都在骂AMD不给力，自己做不到的让第三方实现了。

@dardeaw-feng 27B的一对一版本也出来了，没这个这么惊人，但是prefill也从300涨到500多。
https://github.com/peonist-ai/halogen-server

Halogen / R9700 定制版性能测试

Halogen 让 AI Max 395 一下子牛逼了，现在 R9700 也有了定制版，号称 Prefill 干到 3000+ tok/s。

有兴趣的可以试试：

https://github.com/GGZ14/vllm-mxfp4

---

Decode 性能

Category	Update P50	Decode 速度
Chat	42.3 ms	67.1 tok/s
Code	42.5 ms	120.5 tok/s
File Edit	42.5 ms	138.0 tok/s
JSON	42.4 ms	153.1 tok/s
Math	42.5 ms	140.0 tok/s
Prose	42.3 ms	69.2 tok/s
Reasoning	34.3 ms	123.9 tok/s
Summarization	34.2 ms	141.7 tok/s

---

Prefill 性能

Prefill Depth	Prefill 速度
2K	3552 tok/s
8K	3536 tok/s
16K	3619 tok/s
32K	3437 tok/s
64K	3192 tok/s

64K Context 下依然能维持 3192 tok/s，16K 更是达到 3619 tok/s。

---

并发性能

并发数	总吞吐
1	120 tok/s
2	215 tok/s
4	322 tok/s
8	471 tok/s

---

简单看一下数据

• Prefill： 基本稳定在 3000–3600 tok/s
• Decode： 根据任务类型，大约 67–153 tok/s
• 单并发： 约 120 tok/s
• 4 并发： 总吞吐约 322 tok/s
• 8 并发： 总吞吐已经达到 471 tok/s
• 长上下文 Prefill： 到 64K 仍有 3192 tok/s

如果这些数据在实际 Agent 工作负载下也能稳定复现，那 R9700 这套方案就相当有意思了。