gpu-unlock-ada 在 4080S 上的实测数据
-
仓库:https://github.com/JustAResearcher/gpu-unlock-ada
数据:
测试项 初始值 unlock 提升 bf16 张量核 GEMM 100.3 TF/s 175.1 TF/s 1.75× fp16 张量核 GEMM 100.4 TF/s 192.9 TF/s 1.92× TP=1 prefill 16K 1687 tok/s 2449 tok/s 1.45× TP=1 prefill 65K 1366 tok/s 1957 tok/s 1.43× TP=1 prefill 131K 1079 tok/s 1524 tok/s 1.41× TP=1 prefill 240K 796 tok/s 1118 tok/s 1.40× TP=1 decode 2K 22.60 tok/s 22.65 tok/s 持平 TP=1 decode 262K 16.43 tok/s 17.69 tok/s 1.08× TP=2 prefill 16K 2193 tok/s 2901 tok/s 1.32× TP=2 prefill 65K 1924 tok/s 2565 tok/s 1.33× TP=2 prefill 131K 1623 tok/s 2184 tok/s 1.35× TP=2 prefill 240K 1273 tok/s 1730 tok/s 1.36× TP=2 decode 2K 38.71 tok/s 38.88 tok/s 持平 TP=2 decode 262K 29.08 tok/s 31.18 tok/s 1.07× 说明:
- 配置:Ubuntu,vllm,Qwen3.8-27B-AWQ-INT4
- AI粗测,不代表实际生产值
-
-
-
-
解锁会不会加速gpu老化?
-
有開啟前後的GPU電耗差異嗎?
-
-
-
@lee-sam-0 LLM的Prefill,AI音视频加速明显。这就足够了。
-
-
-
-
-
本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!