<![CDATA[实测报告:RTX 3080 20GB (GA102) 解锁前后 cuBLAS GEMM 对比]]>https://lcz.me/topic/2488/22 中没有对魔改20G 3080进行测试，我来补充

v67/PLM 早启动解锁(gpu-unlock 1.0.0)实测。4 种精度 × 3 种规模(4096/8192/16384,各 5 预热 + 12 次计时取中位数),解锁前后各 12 组有效测量,波动 <4%。

环境

项目 值
GPU NVIDIA GeForce RTX 3080 20GB(改装版,GA102,10DE:2206,68 SM)
驱动 610.57.04(open kernel modules,DKMS)
CUDA 13.3.1
系统 Omarchy 4.0.4(Arch 系),内核 7.2.5-3-omarchy
引导 Limine + UKI,内核参数 gpu_unlock.targets=all
功耗上限 320 W(两轮一致)
解锁日志 pci 0000:07:00.0: gpu_unlock: unlocked
基准工具 自编译 cuBLAS 13 GEMM(nvcc -arch=sm_86,5 预热 + 12 次计时取中位数)

方法

直接调用 cuBLAS 13 的 GEMM(单卡,FP32 累加语义):

  • FP32:cublasSgemm(CUDA 核 FFMA)
  • TF32:cublasGemmEx + CUBLAS_COMPUTE_32F_FAST_TF32(张量核)
  • FP16:cublasGemmEx + CUBLAS_COMPUTE_16F(fp16 输入/输出,内部 FP32 累加)
  • BF16:cublasGemmEx + BF16 输入 + CUBLAS_COMPUTE_32F(张量核 BF16 路径,FP32 输出)

矩阵规模 N×N,N = 4096 / 8192 / 16384,报告 TFLOPS 为各次计时中位数。测量前有小规模矩阵正确性校验,四种精度全部通过。

结果(中位数 TFLOPS)

精度 规模 解锁前 解锁后 加速
FP32 (SGEMM) 4096 21.6 21.5 1.00x
  8192 21.2 21.2 1.00x
  16384 21.3 21.3 1.00x
TF32 4096 31.0 58.3 1.88x
  8192 31.6 52.2 1.65x
  16384 31.4 53.4 1.70x
FP16 4096 111.7 111.5 1.00x
  8192 107.6 109.1 1.01x
  16384 110.5 111.0 1.00x
BF16 4096 61.6 112.9 1.83x
  8192 64.1 106.8 1.67x
  16384 63.9 105.3 1.65x

各精度平均加速

精度 平均加速
FP32 (SGEMM) 1.00x
TF32 1.74x
FP16 1.01x
BF16 1.72x

解读

  • ✅ 解锁生效:主打的 BF16 / TF32 GEMM 分别获得 +65% ~ +88% 提升(BF16 4096³ 从 61.6 → 112.9 TFLOPS,TF32 从 31.0 → 58.3 TFLOPS),与官方报告的"接近 2 倍"一致。
  • ⚠️ FP16 / FP32 基本无变化:这两个精度在解锁前已顶到本卡的性能平台，也是原版3080解锁后的结果（神奇：魔改卡3080默认解锁fp16算力了）。(FP16 ≈ 110 TFLOPS,FP32 ≈ 21.3 TFLOPS)。解锁后 BF16 恰好抬升到与 FP16 相同的平台值(~110 TFLOPS),说明平台由 320 W 功耗上限 / 其他瓶颈决定,而非 FMA 发放速率。
  • 📈 实用收益:BF16 训练/推理、TF32 混合精度矩阵运算受益最大;纯 FP32 与 FP16 负载在你这张卡上不受影响(功耗余量更大的 3090 Ti 上 FP16 也有 +35%,见上游报告)。

参考

]]>https://lcz.me/topic/2521RSS for NodeSat, 24 Oct 2026 21:06:41 GMTFri, 23 Oct 2026 04:29:25 GMT60<![CDATA[Reply to 实测报告:RTX 3080 20GB (GA102) 解锁前后 cuBLAS GEMM 对比 on Fri, 23 Oct 2026 05:02:47 GMT]]>LLM 推理实测(真实模型对照 + 锁回 A/B)

用两个真实模型(同机)、锁回 vs 解锁两次启动实测(prefill 全部冷启动,0 前缀缓存命中):

  • bf16 稠密模型:Qwen/Qwen2.5-3B-Instruct,torch bf16 + transformers,prefill 8192 tokens + 贪心 decode 128 tokens(精确 token 计数)
  • 三值量化模型:Ternary-Bonsai-2-27B(ninfer-serve,三值权重 × int8 激活整数内核),prefill 18369 tokens,引擎 /metrics 计数器口径

bf16 稠密模型(权重矩阵 = bf16 GEMM,解锁受益路径)

指标 锁定 解锁 提升
Prefill @8192 7,136 t/s 10,579 t/s +48%
Decode @8192 46.97 t/s 47.18 t/s ~0%

同机 cuBLAS bf16 GEMM(8192³)锁回重测:63.2 TFLOPS(与首轮锁定基线 64.1 一致)→ 解锁 106.8,+69%。模型 prefill 提升低于内核(注意力/归一化/内核启动开销占一部分),方向与量级一致。

三值量化模型(整数内核 + 带宽受限,对照组)

指标 基线(解锁前记录) 解锁后实测 差异
Prefill @~20K ~1998 t/s 2162 / 2169 t/s +8%(噪声)
Decode @20K 63.0 t/s 70.6 / 70.8 t/s ~0%

解读

bf16 稠密 3B 三值 27B
计算路径 bf16 GEMM(FFMA/FMLA32) 整数三值 × int8(IMLA)
prefill ✅ +48% ❌ 无
decode ❌ ~0%(显存带宽瓶颈) ❌ ~0%(同)

→ bf16 稠密模型的 prefill(首个 token / 大批量)吃到约 1.5x;decode tok/s 两模型都不变——那是带宽的活,解锁管不到。 三值量化恰好绕开了解锁唯一的受益路径。

]]>https://lcz.me/post/26908https://lcz.me/post/26908Fri, 23 Oct 2026 05:02:47 GMT