395跟风Halogen 推理速度实测
-
硬件配置
- 整机: abee AI Station 395 Max（不撞温度墙，不掉频）
- APU: AMD RYZEN AI MAX+ 395 w/ Radeon 8060S（32 线程）
- 统一内存: 128 GiB（CPU＋GPU 共用池；系统可见约 124 GiB）
- GPU: AMD Radeon 8060S（gfx1151，PCI 1002:1586，amdgpu），/dev/kfd 就绪
- 内核: Linux 7.0.0-31-generic
模型与引擎
- 模型: halogen-qwen3.8-flash-next
- 引擎: Halogen Server v0.6.0
- 上下文: 262144
- 测速条件: 关闭思考链（enable_thinking=false），prefill temp=0.0 / decode temp=0.4（IOMMU 未开启，详见下方对比说明）
与官方 halogen-flash-server 对比说明
- IOMMU：官方参考机以
amd_iommu=off测得，并明确该项值 13–16% 的 prefill。本机 BIOS 内 IOMMU 选项为灰色不可选，没有来得及研究就测试了，可能需要更新 BIOS；极有可能是因为 abee 液冷的散热余量补了这部分差异，实测 prefill 仍与官方引擎 bench 吻合（差 1–2%）。 - 功耗：官方数据在约 85W 持续封装功耗下测得。本机功耗策略为 auto，GPU TDP 全程跑满 120W，配合 abee 液冷散热强、不撞温度墙、噪音很低，decode 全程不降频，故 decode 数字未受功耗包络限制。
Decode 吐字速度（temp=0.4，每负载 3 发）
负载 run1 run2 run3 中位 t/s fib 数列 39.3 57.0 57.6 57.0 代码生成 54.1 54.6 53.4 54.1 中文散文 37.0 36.3 37.2 37.0 Prefill 七阶（temp=0.0，prefill t/s = prompt_tokens / TTFT）
长度 实际 prompt_tokens TTFT(s) prefill t/s ~2K 2244 2.57 873.7 ~4K 4476 4.16 1076.3 ~8K 8940 7.30 1225.4 ~16K 17868 13.56 1317.5 ~32K 35724 25.53 1399.5 ~64K 71472 51.64 1384.1 ~128K 142968 106.92 1337.1 Prompt cache 冷热对比（32K 同 prompt 连发两发）
TTFT(s) 等效 t/s 冷 25.84 1382.4 暖 0.13 271783.4 暖 / 冷 TTFT 加速 = 196.6x
Agentic 工具调用 decode（带 tools schema，temp=0.4）
in=368 / out=94 / gen=1.15s → 81.5 t/s
体验
整体用下来体验感很好。平时拿它写代码、跑 agent，长上下文读起来也就几秒到十几秒，缓存命中之后后面几轮基本是秒回，来回追问、反复看长文档几乎感觉不出在等。吐字大概 50 t/s 上下，代码和结构化输出能到 54+。GPU 全程能跑满 120W，声音也不高，安安静静就把活干完了。
-
硬件配置
- 整机: abee AI Station 395 Max（不撞温度墙，不掉频）
- APU: AMD RYZEN AI MAX+ 395 w/ Radeon 8060S（32 线程）
- 统一内存: 128 GiB（CPU＋GPU 共用池；系统可见约 124 GiB）
- GPU: AMD Radeon 8060S（gfx1151，PCI 1002:1586，amdgpu），/dev/kfd 就绪
- 内核: Linux 7.0.0-31-generic
模型与引擎
- 模型: halogen-qwen3.8-flash-next
- 引擎: Halogen Server v0.6.0
- 上下文: 262144
- 测速条件: 关闭思考链（enable_thinking=false），prefill temp=0.0 / decode temp=0.4（IOMMU 未开启，详见下方对比说明）
与官方 halogen-flash-server 对比说明
- IOMMU：官方参考机以
amd_iommu=off测得，并明确该项值 13–16% 的 prefill。本机 BIOS 内 IOMMU 选项为灰色不可选，没有来得及研究就测试了，可能需要更新 BIOS；极有可能是因为 abee 液冷的散热余量补了这部分差异，实测 prefill 仍与官方引擎 bench 吻合（差 1–2%）。 - 功耗：官方数据在约 85W 持续封装功耗下测得。本机功耗策略为 auto，GPU TDP 全程跑满 120W，配合 abee 液冷散热强、不撞温度墙、噪音很低，decode 全程不降频，故 decode 数字未受功耗包络限制。
Decode 吐字速度（temp=0.4，每负载 3 发）
负载 run1 run2 run3 中位 t/s fib 数列 39.3 57.0 57.6 57.0 代码生成 54.1 54.6 53.4 54.1 中文散文 37.0 36.3 37.2 37.0 Prefill 七阶（temp=0.0，prefill t/s = prompt_tokens / TTFT）
长度 实际 prompt_tokens TTFT(s) prefill t/s ~2K 2244 2.57 873.7 ~4K 4476 4.16 1076.3 ~8K 8940 7.30 1225.4 ~16K 17868 13.56 1317.5 ~32K 35724 25.53 1399.5 ~64K 71472 51.64 1384.1 ~128K 142968 106.92 1337.1 Prompt cache 冷热对比（32K 同 prompt 连发两发）
TTFT(s) 等效 t/s 冷 25.84 1382.4 暖 0.13 271783.4 暖 / 冷 TTFT 加速 = 196.6x
Agentic 工具调用 decode（带 tools schema，temp=0.4）
in=368 / out=94 / gen=1.15s → 81.5 t/s
体验
整体用下来体验感很好。平时拿它写代码、跑 agent，长上下文读起来也就几秒到十几秒，缓存命中之后后面几轮基本是秒回，来回追问、反复看长文档几乎感觉不出在等。吐字大概 50 t/s 上下，代码和结构化输出能到 54+。GPU 全程能跑满 120W，声音也不高，安安静静就把活干完了。
实测整理得很清楚，补两个读表的角度。
1）prefill 那列「等效 t/s 随长度上升」不是算力变强，是 TTFT 里的固定开销被摊薄了。用相邻两点算边际速率更接近真实算力：
2K→4K ≈1404、4K→8K ≈1422、8K→16K ≈1426、16K→32K ≈1492、32K→64K ≈1369、64K→128K ≈1293 t/s。
边际速率在 32K 附近见顶、到 128K 掉约 13%，这才是注意力 O(n²) 开始显形的信号。表头那个等效值适合同长度横向比机器，不适合当算力曲线看。2）decode 中位 37–57 t/s 可以算笔账：395 的 LPDDR5X 带宽约 256GB/s，如果每 token 要读全部活跃权重，27B Q4 约 16GB，理论上限只有 ~16 t/s。你跑到 50+，说明每 token 实际读入的字节远小于权重总量——通常是 MoE 稀疏激活，或开了 MTP/投机。建议在帖里注明测试有没有开 draft，否则这个数会被拿去和 dense 27B 直接比。
IOMMU 那条：官方是 amd_iommu=off 测的，你 BIOS 选项是灰的还能差 1–2%，说明液冷补回来的余量是真实的，prefill 已经对齐；真想压那 13–16% 只能等 BIOS 解锁。
-
这个作者更新太快了，前几天更新0.8.0后补测了一些数据，结果现在看已经更新到0.11.4了，就先这样吧，实在是跟不上作者节奏了
TTFT 随上下文规模近似线性增长：8K 档 6.2s 递增至 256K 档 198.1s（峰值）。16K/64K 复测时
TTFT 分别为 0.078s/0.125s，远低于首测（10.953s/44.640s），疑似命中 prompt cache；
该测试数值不反映冷启动预填充能力。8K–256K 各档 TTFT：8K 6.156s｜16K 10.953s｜32K 21.891s｜64K 44.640s｜128K 93.140s｜256K 198.125s
16K/64K 首测与复测对照
· 16K 首测｜平均延迟 24.985s｜TTFT 10.953s｜模型解码 34.92 t/s｜Prompt 解码 1,460.79 t/s｜总耗时 25.14s
· 16K 复测｜平均延迟 12.047s｜TTFT 0.078s｜模型解码 42.53 t/s｜Prompt 解码 1,328.13 t/s｜总耗时 12.20s
· 64K 首测｜平均延迟 58.219s｜TTFT 44.640s｜模型解码 36.38 t/s｜Prompt 解码 1,433.69 t/s｜总耗时 58.39s
· 64K 复测｜平均延迟 12.281s｜TTFT 0.125s｜模型解码 38.91 t/s｜Prompt 解码 5,211.30 t/s｜总耗时 12.45s首测为首次请求，复测为同一 prompt 的第二次请求（prompt cache 命中，prefill 结果被复用）；
复测值仅代表缓存命中场景的吞吐，不宜与首测冷启动值直接对比。
