<![CDATA[395跟风Halogen 推理速度实测]]>硬件配置
  • 整机: abee AI Station 395 Max（不撞温度墙，不掉频）
  • APU: AMD RYZEN AI MAX+ 395 w/ Radeon 8060S（32 线程）
  • 统一内存: 128 GiB（CPU＋GPU 共用池；系统可见约 124 GiB）
  • GPU: AMD Radeon 8060S（gfx1151，PCI 1002:1586，amdgpu），/dev/kfd 就绪
  • 内核: Linux 7.0.0-31-generic

模型与引擎

  • 模型: halogen-qwen3.8-flash-next
  • 引擎: Halogen Server v0.6.0
  • 上下文: 262144
  • 测速条件: 关闭思考链（enable_thinking=false），prefill temp=0.0 / decode temp=0.4（IOMMU 未开启，详见下方对比说明）

与官方 halogen-flash-server 对比说明

  • IOMMU：官方参考机以 amd_iommu=off 测得，并明确该项值 13–16% 的 prefill。本机 BIOS 内 IOMMU 选项为灰色不可选，没有来得及研究就测试了，可能需要更新 BIOS；极有可能是因为 abee 液冷的散热余量补了这部分差异，实测 prefill 仍与官方引擎 bench 吻合（差 1–2%）。
  • 功耗：官方数据在约 85W 持续封装功耗下测得。本机功耗策略为 auto，GPU TDP 全程跑满 120W，配合 abee 液冷散热强、不撞温度墙、噪音很低，decode 全程不降频，故 decode 数字未受功耗包络限制。

Decode 吐字速度（temp=0.4，每负载 3 发）

负载 run1 run2 run3 中位 t/s
fib 数列 39.3 57.0 57.6 57.0
代码生成 54.1 54.6 53.4 54.1
中文散文 37.0 36.3 37.2 37.0

Prefill 七阶（temp=0.0，prefill t/s = prompt_tokens / TTFT）

长度 实际 prompt_tokens TTFT(s) prefill t/s
~2K 2244 2.57 873.7
~4K 4476 4.16 1076.3
~8K 8940 7.30 1225.4
~16K 17868 13.56 1317.5
~32K 35724 25.53 1399.5
~64K 71472 51.64 1384.1
~128K 142968 106.92 1337.1

Prompt cache 冷热对比（32K 同 prompt 连发两发）

TTFT(s) 等效 t/s
冷 25.84 1382.4
暖 0.13 271783.4

暖 / 冷 TTFT 加速 = 196.6x

Agentic 工具调用 decode（带 tools schema，temp=0.4）

in=368 / out=94 / gen=1.15s → 81.5 t/s

体验

整体用下来体验感很好。平时拿它写代码、跑 agent，长上下文读起来也就几秒到十几秒，缓存命中之后后面几轮基本是秒回，来回追问、反复看长文档几乎感觉不出在等。吐字大概 50 t/s 上下，代码和结构化输出能到 54+。GPU 全程能跑满 120W，声音也不高，安安静静就把活干完了。

]]>https://lcz.me/topic/1666RSS for NodeTue, 22 Sep 2026 23:54:47 GMTSun, 13 Sep 2026 00:41:14 GMT60<![CDATA[Reply to 395跟风Halogen 推理速度实测 on Fri, 18 Sep 2026 05:09:20 GMT]]>这个作者更新太快了，前几天更新0.8.0后补测了一些数据，结果现在看已经更新到0.11.4了，就先这样吧，实在是跟不上作者节奏了

TTFT 随上下文规模近似线性增长：8K 档 6.2s 递增至 256K 档 198.1s（峰值）。16K/64K 复测时
TTFT 分别为 0.078s/0.125s，远低于首测（10.953s/44.640s），疑似命中 prompt cache；
该测试数值不反映冷启动预填充能力。

8K–256K 各档 TTFT：8K 6.156s｜16K 10.953s｜32K 21.891s｜64K 44.640s｜128K 93.140s｜256K 198.125s

16K/64K 首测与复测对照

· 16K 首测｜平均延迟 24.985s｜TTFT 10.953s｜模型解码 34.92 t/s｜Prompt 解码 1,460.79 t/s｜总耗时 25.14s
· 16K 复测｜平均延迟 12.047s｜TTFT 0.078s｜模型解码 42.53 t/s｜Prompt 解码 1,328.13 t/s｜总耗时 12.20s
· 64K 首测｜平均延迟 58.219s｜TTFT 44.640s｜模型解码 36.38 t/s｜Prompt 解码 1,433.69 t/s｜总耗时 58.39s
· 64K 复测｜平均延迟 12.281s｜TTFT 0.125s｜模型解码 38.91 t/s｜Prompt 解码 5,211.30 t/s｜总耗时 12.45s

首测为首次请求，复测为同一 prompt 的第二次请求（prompt cache 命中，prefill 结果被复用）；
复测值仅代表缓存命中场景的吞吐，不宜与首测冷启动值直接对比。

]]>https://lcz.me/post/19008https://lcz.me/post/19008Fri, 18 Sep 2026 05:09:20 GMT<![CDATA[Reply to 395跟风Halogen 推理速度实测 on Sun, 13 Sep 2026 01:02:52 GMT]]>实测整理得很清楚，补两个读表的角度。

1）prefill 那列「等效 t/s 随长度上升」不是算力变强，是 TTFT 里的固定开销被摊薄了。用相邻两点算边际速率更接近真实算力：
2K→4K ≈1404、4K→8K ≈1422、8K→16K ≈1426、16K→32K ≈1492、32K→64K ≈1369、64K→128K ≈1293 t/s。
边际速率在 32K 附近见顶、到 128K 掉约 13%，这才是注意力 O(n²) 开始显形的信号。表头那个等效值适合同长度横向比机器，不适合当算力曲线看。

2）decode 中位 37–57 t/s 可以算笔账：395 的 LPDDR5X 带宽约 256GB/s，如果每 token 要读全部活跃权重，27B Q4 约 16GB，理论上限只有 ~16 t/s。你跑到 50+，说明每 token 实际读入的字节远小于权重总量——通常是 MoE 稀疏激活，或开了 MTP/投机。建议在帖里注明测试有没有开 draft，否则这个数会被拿去和 dense 27B 直接比。

IOMMU 那条：官方是 amd_iommu=off 测的，你 BIOS 选项是灰的还能差 1–2%，说明液冷补回来的余量是真实的，prefill 已经对齐；真想压那 13–16% 只能等 BIOS 解锁。

]]>https://lcz.me/post/17692https://lcz.me/post/17692Sun, 13 Sep 2026 01:02:52 GMT