395跟风Halogen 推理速度实测

[fcys]

硬件配置

• 整机: abee AI Station 395 Max（不撞温度墙，不掉频）
• APU: AMD RYZEN AI MAX+ 395 w/ Radeon 8060S（32 线程）
• 统一内存: 128 GiB（CPU＋GPU 共用池；系统可见约 124 GiB）
• GPU: AMD Radeon 8060S（gfx1151，PCI 1002:1586，amdgpu），/dev/kfd 就绪
• 内核: Linux 7.0.0-31-generic

模型与引擎

• 模型: halogen-qwen3.8-flash-next
• 引擎: Halogen Server v0.6.0
• 上下文: 262144
• 测速条件: 关闭思考链（enable_thinking=false），prefill temp=0.0 / decode temp=0.4（IOMMU 未开启，详见下方对比说明）

与官方 halogen-flash-server 对比说明

• IOMMU：官方参考机以 amd_iommu=off 测得，并明确该项值 13–16% 的 prefill。本机 BIOS 内 IOMMU 选项为灰色不可选，没有来得及研究就测试了，可能需要更新 BIOS；极有可能是因为 abee 液冷的散热余量补了这部分差异，实测 prefill 仍与官方引擎 bench 吻合（差 1–2%）。
• 功耗：官方数据在约 85W 持续封装功耗下测得。本机功耗策略为 auto，GPU TDP 全程跑满 120W，配合 abee 液冷散热强、不撞温度墙、噪音很低，decode 全程不降频，故 decode 数字未受功耗包络限制。

Decode 吐字速度（temp=0.4，每负载 3 发）

负载	run1	run2	run3	中位 t/s
fib 数列	39.3	57.0	57.6	57.0
代码生成	54.1	54.6	53.4	54.1
中文散文	37.0	36.3	37.2	37.0

Prefill 七阶（temp=0.0，prefill t/s = prompt_tokens / TTFT）

长度	实际 prompt_tokens	TTFT(s)	prefill t/s
~2K	2244	2.57	873.7
~4K	4476	4.16	1076.3
~8K	8940	7.30	1225.4
~16K	17868	13.56	1317.5
~32K	35724	25.53	1399.5
~64K	71472	51.64	1384.1
~128K	142968	106.92	1337.1

Prompt cache 冷热对比（32K 同 prompt 连发两发）

	TTFT(s)	等效 t/s
冷	25.84	1382.4
暖	0.13	271783.4

暖 / 冷 TTFT 加速 = 196.6x

Agentic 工具调用 decode（带 tools schema，temp=0.4）

in=368 / out=94 / gen=1.15s → 81.5 t/s

体验

整体用下来体验感很好。平时拿它写代码、跑 agent，长上下文读起来也就几秒到十几秒，缓存命中之后后面几轮基本是秒回，来回追问、反复看长文档几乎感觉不出在等。吐字大概 50 t/s 上下，代码和结构化输出能到 54+。GPU 全程能跑满 120W，声音也不高，安安静静就把活干完了。

[Xiaote]

实测整理得很清楚，补两个读表的角度。

1）prefill 那列「等效 t/s 随长度上升」不是算力变强，是 TTFT 里的固定开销被摊薄了。用相邻两点算边际速率更接近真实算力：
2K→4K ≈1404、4K→8K ≈1422、8K→16K ≈1426、16K→32K ≈1492、32K→64K ≈1369、64K→128K ≈1293 t/s。
边际速率在 32K 附近见顶、到 128K 掉约 13%，这才是注意力 O(n²) 开始显形的信号。表头那个等效值适合同长度横向比机器，不适合当算力曲线看。

2）decode 中位 37–57 t/s 可以算笔账：395 的 LPDDR5X 带宽约 256GB/s，如果每 token 要读全部活跃权重，27B Q4 约 16GB，理论上限只有 ~16 t/s。你跑到 50+，说明每 token 实际读入的字节远小于权重总量——通常是 MoE 稀疏激活，或开了 MTP/投机。建议在帖里注明测试有没有开 draft，否则这个数会被拿去和 dense 27B 直接比。

IOMMU 那条：官方是 amd_iommu=off 测的，你 BIOS 选项是灰的还能差 1–2%，说明液冷补回来的余量是真实的，prefill 已经对齐；真想压那 13–16% 只能等 BIOS 解锁。

[fcys]

这个作者更新太快了，前几天更新0.8.0后补测了一些数据，结果现在看已经更新到0.11.4了，就先这样吧，实在是跟不上作者节奏了

TTFT 随上下文规模近似线性增长：8K 档 6.2s 递增至 256K 档 198.1s（峰值）。16K/64K 复测时
TTFT 分别为 0.078s/0.125s，远低于首测（10.953s/44.640s），疑似命中 prompt cache；
该测试数值不反映冷启动预填充能力。

8K–256K 各档 TTFT：8K 6.156s｜16K 10.953s｜32K 21.891s｜64K 44.640s｜128K 93.140s｜256K 198.125s

16K/64K 首测与复测对照

· 16K 首测｜平均延迟 24.985s｜TTFT 10.953s｜模型解码 34.92 t/s｜Prompt 解码 1,460.79 t/s｜总耗时 25.14s
· 16K 复测｜平均延迟 12.047s｜TTFT 0.078s｜模型解码 42.53 t/s｜Prompt 解码 1,328.13 t/s｜总耗时 12.20s
· 64K 首测｜平均延迟 58.219s｜TTFT 44.640s｜模型解码 36.38 t/s｜Prompt 解码 1,433.69 t/s｜总耗时 58.39s
· 64K 复测｜平均延迟 12.281s｜TTFT 0.125s｜模型解码 38.91 t/s｜Prompt 解码 5,211.30 t/s｜总耗时 12.45s

首测为首次请求，复测为同一 prompt 的第二次请求（prompt cache 命中，prefill 结果被复用）；
复测值仅代表缓存命中场景的吞吐，不宜与首测冷启动值直接对比。