LLM 推理实测(真实模型对照 + 锁回 A/B)
用两个真实模型(同机)、锁回 vs 解锁两次启动实测(prefill 全部冷启动,0 前缀缓存命中):
bf16 稠密模型:Qwen/Qwen2.5-3B-Instruct,torch bf16 + transformers,prefill 8192 tokens + 贪心 decode 128 tokens(精确 token 计数)
三值量化模型:Ternary-Bonsai-2-27B(ninfer-serve,三值权重 × int8 激活整数内核),prefill 18369 tokens,引擎 /metrics 计数器口径
bf16 稠密模型(权重矩阵 = bf16 GEMM,解锁受益路径)
指标
锁定
解锁
提升
Prefill @8192
7,136 t/s
10,579 t/s
+48%
Decode @8192
46.97 t/s
47.18 t/s
~0%
同机 cuBLAS bf16 GEMM(8192³)锁回重测:63.2 TFLOPS(与首轮锁定基线 64.1 一致)→ 解锁 106.8,+69%。模型 prefill 提升低于内核(注意力/归一化/内核启动开销占一部分),方向与量级一致。
三值量化模型(整数内核 + 带宽受限,对照组)
指标
基线(解锁前记录)
解锁后实测
差异
Prefill @~20K
~1998 t/s
2162 / 2169 t/s
+8%(噪声)
Decode @20K
63.0 t/s
70.6 / 70.8 t/s
~0%
解读
bf16 稠密 3B
三值 27B
计算路径
bf16 GEMM(FFMA/FMLA32)
整数三值 × int8(IMLA)
prefill
+48%
无
decode
~0%(显存带宽瓶颈)
~0%(同)
→ bf16 稠密模型的 prefill(首个 token / 大批量)吃到约 1.5x;decode tok/s 两模型都不变——那是带宽的活,解锁管不到。 三值量化恰好绕开了解锁唯一的受益路径。