实测报告:RTX 3080 20GB (GA102) 解锁前后 cuBLAS GEMM 对比

[yangkang5303]

LLM 推理实测(真实模型对照 + 锁回 A/B)

用两个真实模型(同机)、锁回 vs 解锁两次启动实测(prefill 全部冷启动,0 前缀缓存命中):

• bf16 稠密模型:Qwen/Qwen2.5-3B-Instruct,torch bf16 + transformers,prefill 8192 tokens + 贪心 decode 128 tokens(精确 token 计数)
• 三值量化模型:Ternary-Bonsai-2-27B(ninfer-serve,三值权重 × int8 激活整数内核),prefill 18369 tokens,引擎 /metrics 计数器口径

bf16 稠密模型(权重矩阵 = bf16 GEMM,解锁受益路径)

指标	锁定	解锁	提升
Prefill @8192	7,136 t/s	10,579 t/s	+48%
Decode @8192	46.97 t/s	47.18 t/s	~0%

同机 cuBLAS bf16 GEMM(8192³)锁回重测:63.2 TFLOPS(与首轮锁定基线 64.1 一致)→ 解锁 106.8,+69%。模型 prefill 提升低于内核(注意力/归一化/内核启动开销占一部分),方向与量级一致。

三值量化模型(整数内核 + 带宽受限,对照组)

指标	基线(解锁前记录)	解锁后实测	差异
Prefill @~20K	~1998 t/s	2162 / 2169 t/s	+8%(噪声)
Decode @20K	63.0 t/s	70.6 / 70.8 t/s	~0%

解读

	bf16 稠密 3B	三值 27B
计算路径	bf16 GEMM(FFMA/FMLA32)	整数三值 × int8(IMLA)
prefill	+48%	无
decode	~0%(显存带宽瓶颈)	~0%(同)

→ bf16 稠密模型的 prefill(首个 token / 大批量)吃到约 1.5x;decode tok/s 两模型都不变——那是带宽的活,解锁管不到。 三值量化恰好绕开了解锁唯一的受益路径。

[顾新兵]

给你点个赞，很详细

[Lei Gao]

今天京东 3年保的3080 20G 涡轮卡卖4800元！！！

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f2521-3890-1（系统自动发放，显示稍有延迟）

[terry]

@Lei-Gao 炒作了，3080 20G显存，20G和24G这4G的差距是很要命的。

[楊西西]

10/21下單7900xtx ,6000,今天老闆通知沒貨 ,查了一下原來又漲了, 剛剛跑去看 4080 32GB ,看著看著,有商家剛好調漲了...

[kun chen]

是不是可以理解，非原生BF16精度的LLM推理没有作用？

[Bunsei]

3080是不是没办法P2P

[Lei Gao]

@terry 咸鱼还在三千大几，估计很快就吵起来了。 现在AI计算卡的价格太高，都够我用几年云端大模型了。。。

[Yu Nickolas]

京东万竞刚买的，3080 20G 普通风扇版本 用券后4300

[bily j]

小白提问（我相信很多小白也有这样的疑问吧）：我问了AI，他说解锁只针对训练模型，训练lora,可能comfyui这些有提速，我有个疑问4090本身也就24G,我们用的又都是量化Q4，又装不下BF16的精度模型，除非Q4量化在切层里有保留BF16精度的层，要不然我感觉也吃不到红利啊，在加上ninfer strata这些推理框架有100多t/s的输出了，那折腾的意义在于哪里？

另外comfyui能提速？硬件会不会有风险？望高手指点，感谢您的指教

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2521-3890-1（系统自动发放，显示稍有延迟）