实测报告:RTX 3080 20GB (GA102) 解锁前后 cuBLAS GEMM 对比

[yangkang5303]

https://lcz.me/topic/2488/22 中没有对魔改20G 3080进行测试，我来补充

v67/PLM 早启动解锁(gpu-unlock 1.0.0)实测。4 种精度 × 3 种规模(4096/8192/16384,各 5 预热 + 12 次计时取中位数),解锁前后各 12 组有效测量,波动 <4%。

环境

项目	值
GPU	NVIDIA GeForce RTX 3080 20GB(改装版,GA102,10DE:2206,68 SM)
驱动	610.57.04(open kernel modules,DKMS)
CUDA	13.3.1
系统	Omarchy 4.0.4(Arch 系),内核 7.2.5-3-omarchy
引导	Limine + UKI,内核参数 gpu_unlock.targets=all
功耗上限	320 W(两轮一致)
解锁日志	pci 0000:07:00.0: gpu_unlock: unlocked
基准工具	自编译 cuBLAS 13 GEMM(nvcc -arch=sm_86,5 预热 + 12 次计时取中位数)

方法

直接调用 cuBLAS 13 的 GEMM(单卡,FP32 累加语义):

• FP32:cublasSgemm(CUDA 核 FFMA)
• TF32:cublasGemmEx + CUBLAS_COMPUTE_32F_FAST_TF32(张量核)
• FP16:cublasGemmEx + CUBLAS_COMPUTE_16F(fp16 输入/输出,内部 FP32 累加)
• BF16:cublasGemmEx + BF16 输入 + CUBLAS_COMPUTE_32F(张量核 BF16 路径,FP32 输出)

矩阵规模 N×N,N = 4096 / 8192 / 16384,报告 TFLOPS 为各次计时中位数。测量前有小规模矩阵正确性校验,四种精度全部通过。

结果(中位数 TFLOPS)

精度	规模	解锁前	解锁后	加速
FP32 (SGEMM)	4096	21.6	21.5	1.00x
	8192	21.2	21.2	1.00x
	16384	21.3	21.3	1.00x
TF32	4096	31.0	58.3	1.88x
	8192	31.6	52.2	1.65x
	16384	31.4	53.4	1.70x
FP16	4096	111.7	111.5	1.00x
	8192	107.6	109.1	1.01x
	16384	110.5	111.0	1.00x
BF16	4096	61.6	112.9	1.83x
	8192	64.1	106.8	1.67x
	16384	63.9	105.3	1.65x

各精度平均加速

精度	平均加速
FP32 (SGEMM)	1.00x
TF32	1.74x
FP16	1.01x
BF16	1.72x

解读

• 解锁生效:主打的 BF16 / TF32 GEMM 分别获得 +65% ~ +88% 提升(BF16 4096³ 从 61.6 → 112.9 TFLOPS,TF32 从 31.0 → 58.3 TFLOPS),与官方报告的"接近 2 倍"一致。
• ️ FP16 / FP32 基本无变化:这两个精度在解锁前已顶到本卡的性能平台，也是原版3080解锁后的结果（神奇：魔改卡3080默认解锁fp16算力了）。(FP16 ≈ 110 TFLOPS,FP32 ≈ 21.3 TFLOPS)。解锁后 BF16 恰好抬升到与 FP16 相同的平台值(~110 TFLOPS),说明平台由 320 W 功耗上限 / 其他瓶颈决定,而非 FMA 发放速率。
• 实用收益:BF16 训练/推理、TF32 混合精度矩阵运算受益最大;纯 FP32 与 FP16 负载在你这张卡上不受影响(功耗余量更大的 3090 Ti 上 FP16 也有 +35%,见上游报告)。

参考

• 项目:Zagitta/gpu-unlock(v67/PLM 早驱动解锁,module GPL-2.0)
• 同型号先例:Issue #10 — Successful unlock on 3080 20GB
• 3080 Ti 数据:Issue #2 — BF16 71.6→114,TF32 35.7→65.3

[yangkang5303]

LLM 推理实测(真实模型对照 + 锁回 A/B)

用两个真实模型(同机)、锁回 vs 解锁两次启动实测(prefill 全部冷启动,0 前缀缓存命中):

• bf16 稠密模型:Qwen/Qwen2.5-3B-Instruct,torch bf16 + transformers,prefill 8192 tokens + 贪心 decode 128 tokens(精确 token 计数)
• 三值量化模型:Ternary-Bonsai-2-27B(ninfer-serve,三值权重 × int8 激活整数内核),prefill 18369 tokens,引擎 /metrics 计数器口径

bf16 稠密模型(权重矩阵 = bf16 GEMM,解锁受益路径)

指标	锁定	解锁	提升
Prefill @8192	7,136 t/s	10,579 t/s	+48%
Decode @8192	46.97 t/s	47.18 t/s	~0%

同机 cuBLAS bf16 GEMM(8192³)锁回重测:63.2 TFLOPS(与首轮锁定基线 64.1 一致)→ 解锁 106.8,+69%。模型 prefill 提升低于内核(注意力/归一化/内核启动开销占一部分),方向与量级一致。

三值量化模型(整数内核 + 带宽受限,对照组)

指标	基线(解锁前记录)	解锁后实测	差异
Prefill @~20K	~1998 t/s	2162 / 2169 t/s	+8%(噪声)
Decode @20K	63.0 t/s	70.6 / 70.8 t/s	~0%

解读

	bf16 稠密 3B	三值 27B
计算路径	bf16 GEMM(FFMA/FMLA32)	整数三值 × int8(IMLA)
prefill	+48%	无
decode	~0%(显存带宽瓶颈)	~0%(同)

→ bf16 稠密模型的 prefill(首个 token / 大批量)吃到约 1.5x;decode tok/s 两模型都不变——那是带宽的活,解锁管不到。 三值量化恰好绕开了解锁唯一的受益路径。