跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 3090坛友进来,过年了【解锁F16算力 加快TTFT】!

3090坛友进来,过年了【解锁F16算力 加快TTFT】!

已定时 已固定 已锁定 已移动 精华 热议 AI硬件
rtx3090nvidia
39 帖子 21 发布者 2.2k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Hao ChenH Hao Chen

    Prefill 确实快了约10%

    Hao ChenH
    Hao ChenH
    Hao Chen
    编写于 最后由 编辑
    #28

    好像时间越久越快, 双3090 prefill 从3000+ 跑到4000+了

    1 条回复 最后回复
    0
    • wwcd2016W
      wwcd2016W
      wwcd2016
      体面乡绅
      编写于 最后由 编辑
      #29
      来交作业了,3090 实测,过程+前后对比。
      
      环境:RTX 3090 24G / Ubuntu 24.04 / 内核 7.0.0-28 / 驱动 580.178.04,vLLM 跑 Qwen3.8-27B,128K 上下文常驻。
      
      过程(全程不折腾 VBIOS):
      1. git clone https://github.com/Zagitta/gpu-unlock && cd gpu-unlock && make install(编译进 initramfs)
      2. GRUB 加 gpu_unlock.targets=all,update-grub
      3. 关机→再开机(注意:reboot 热重启不生效,必须断电源,这是唯一的坑)
      4. 起来后 journalctl -k -b | grep gpu_unlock,看到 gpu_unlock: unlocked,整条 ROM/FWSEC 链(gsp_ga10x 84MB、v67-ga102 等 5 个固件)全部 error=0
      
      前后对比(同机实测):
      
      | 项目         | 装前(9月,250W)                 | 解锁后 250W      | 解锁后 350W      |
      |--------------|--------------------------------|------------------|------------------|
      | 128K prefill | 79~122s 首字(≈1050~1600 t/s) | 40.1s / 3195 t/s | 31.2s / 4108 t/s |
      | 64K prefill  | -                              | 24.1s / 2651 t/s | 22.0s / 2911 t/s |
      
      合计约 2.5~4×(其中纯"250W→350W"单变量贡献 +29%,长上下文提升比短上下文大,因为功耗墙卡的是持续算力,128K 满算时间久,250W 下反复撞墙降频;350W 满载 71°C/336W/SM 1890MHz,3090 压得住还有余量)。
      
      体感:以前最大的痛点就是长上下文等首字,盯着空白等一分多钟。现在 31 秒出头,吐字一版一下出来。
      
      Rock SunR 1 条回复 最后回复
      0
      • M
        M
        magician6677
        编写于 最后由 编辑
        #30

        我是Windows 提升不了了啊。

        1 条回复 最后回复
        0
        • wwcd2016W wwcd2016
          来交作业了,3090 实测,过程+前后对比。
          
          环境:RTX 3090 24G / Ubuntu 24.04 / 内核 7.0.0-28 / 驱动 580.178.04,vLLM 跑 Qwen3.8-27B,128K 上下文常驻。
          
          过程(全程不折腾 VBIOS):
          1. git clone https://github.com/Zagitta/gpu-unlock && cd gpu-unlock && make install(编译进 initramfs)
          2. GRUB 加 gpu_unlock.targets=all,update-grub
          3. 关机→再开机(注意:reboot 热重启不生效,必须断电源,这是唯一的坑)
          4. 起来后 journalctl -k -b | grep gpu_unlock,看到 gpu_unlock: unlocked,整条 ROM/FWSEC 链(gsp_ga10x 84MB、v67-ga102 等 5 个固件)全部 error=0
          
          前后对比(同机实测):
          
          | 项目         | 装前(9月,250W)                 | 解锁后 250W      | 解锁后 350W      |
          |--------------|--------------------------------|------------------|------------------|
          | 128K prefill | 79~122s 首字(≈1050~1600 t/s) | 40.1s / 3195 t/s | 31.2s / 4108 t/s |
          | 64K prefill  | -                              | 24.1s / 2651 t/s | 22.0s / 2911 t/s |
          
          合计约 2.5~4×(其中纯"250W→350W"单变量贡献 +29%,长上下文提升比短上下文大,因为功耗墙卡的是持续算力,128K 满算时间久,250W 下反复撞墙降频;350W 满载 71°C/336W/SM 1890MHz,3090 压得住还有余量)。
          
          体感:以前最大的痛点就是长上下文等首字,盯着空白等一分多钟。现在 31 秒出头,吐字一版一下出来。
          
          Rock SunR
          Rock SunR
          Rock Sun
          编写于 最后由 Rock Sun 编辑
          #31

          @wwcd2016我的是 Ubuntu 24.04 + 6.8 ,敢改吗?

          W 1 条回复 最后回复
          0
          • 暧
            暧
            暧昧光影
            编写于 最后由 编辑
            #32

            3090ti目前是什么情况?

            1 条回复 最后回复
            0
            • Nero丶畅畅N
              Nero丶畅畅N
              Nero丶畅畅
              体面乡绅 硕果累累
              编写于 最后由 编辑
              #33

              真是过年了,测试下都是惊喜

              1 条回复 最后回复
              0
              • ricekongR
                ricekongR
                ricekong
                编写于 最后由 编辑
                #34

                https://lcz.me/topic/1607/13

                我也做了,我把記錄加到我自己的貼子了

                1 条回复 最后回复
                0
                • ,系统 取消固定了此主题
                • ,gao GaoG gao Gao 引用了 此主题
                • Rock SunR Rock Sun

                  @wwcd2016我的是 Ubuntu 24.04 + 6.8 ,敢改吗?

                  W
                  W
                  wwcd
                  编写于 最后由 编辑
                  #35

                  @Rock-Sun

                  你的是乌班图,我的也是。
                  我就把这个帖子直接扔给后面死,他就帮我改好了
                  然后他测了个测试报告。
                  具体什么原理我不知道

                  但是如果没有论坛这样的帖子。我们怎么能享受到这种操作业的福利呢

                  1 条回复 最后回复
                  0
                  • starryskyknightS starryskyknight

                    感谢这串,补 4/4 解锁前后的数据。先说清楚:只有 3080 是同一张卡、同一台机器的真 A/B;双 3090 与单 3090 的解锁前数据不是我们自己的,我只拿本帖的 locked 基准做对照,不假装是同卡 before/after。

                    1. RTX 3080 10GB:真·解锁前后(同卡同机)

                    卡:EVGA RTX 3080 FTW3 ULTRA 10GB(GA102,PCI 0000:04:00.0)
                    条件:280W、PyTorch 2.14.1+cu130、8192³ matmul、3 warmup + 10 iterations

                    精度 解锁前 解锁后 差异
                    FP16 60.91 107.60 +76.6%
                    BF16 64.26 107.82 +67.8%
                    TF32 31.51 52.60 +66.9%

                    journal 确认:0000:04:00.0: gpu_unlock: unlocked

                    解锁后 BF16 107.82,已经接近 3090 单卡解锁后的 108.48;但 VRAM 只有 10GB。

                    这是目前没人回报过的点:官方 README 只验证过 RTX 3090,3080 是未官方验证的 GA102 路径。我这张 EVGA FTW3 成功,不代表所有 3080 板卡;长期要看 Xid/掉卡。

                    2. 双 3090 + NVLink:解锁后

                    卡:2× MSI RTX 3090 SUPRIM X 24G(1462:3882)
                    NVLink:4 links × 14.062 GB/s = 56.25 GB/s 单向、112.5 GB/s 双向
                    条件:250W×2、8192³ matmul

                    GPU FP16 BF16 TF32
                    GPU0 68.19 75.79 48.26
                    GPU1 75.02 76.55 50.49

                    对照本帖 2488 的 locked 基准(跨机器参考,不是我们自己的 before):

                    项目 2488 locked 我们解锁后 GPU0 差异
                    FP16 53.8 68.19 +26.7%
                    BF16 56.5 75.79 +34.1%
                    TF32 32.2 48.26 +49.9%

                    我们的 GPU0 甚至略高于本帖 unlocked 参考(67.8/72.6/41.5)。

                    3. 单张 3090:解锁后(解锁前未在我们机器上量)

                    卡:ASUS TUF RTX 3090 24G(1043:87b3)
                    条件:350W、8192³ matmul

                    精度 解锁后
                    FP16 108.48
                    BF16 116.98
                    TF32 61.65

                    我们没有在解锁前跑同一张卡的 baseline,所以不编造 before/after;只给解锁后实测。

                    4. 补充:3080 20GB 魔改卡,CP 值可能更高

                    这楼里没人提 3080 20GB 魔改卡,但它其实是 3080 解锁的另一个甜点:

                    • 同一颗 GA102、8704 CUDA、320-bit,显存从 10GB 翻倍到 20GB GDDR6X。
                    • 二手/魔改市场价约 ¥2,600–3,200(约 US$370–450);3090 24GB 约 ¥5,000–6,000,价差接近一倍。
                    • 如果 gpu-unlock 对 20GB 版同样有效,理论上能拿到和 10GB 版接近的解锁收益(FP16 +76.6%、BF16 +67.8%),同时 20GB 对 14B/30B AWQ、长上下文 KV cache 更实用。
                    • 这样它的 CP 值会比 3080 10GB 高很多:同样的算力、多一倍 VRAM,价格只有 3090 的 40–50%。

                    但这是未验证的推论,不是我们实测:

                    • 20GB 魔改卡是灰色市场,无原厂保固,VBIOS、散热、blower 设计都可能与零售 3080 不同。
                    • gpu-unlock 官方只验证过 RTX 3090;20GB 版即使同为 GA102,也不保证走同一条 firmware 路径。
                    • 要买的话,先确认:能 cold boot、journalctl -b | grep gpu_unlock 出现 0000:xx:00.0: gpu_unlock: unlocked、跑 8192³ matmul 与 10GB 版对比、再看 Xid/掉卡。
                    • 若这些过不了,20GB 的「大显存」不值得拿稳定度去换。

                    5. 一句话总结

                    • 3080 10GB:真 A/B,FP16 +76.6%、BF16 +67.8%、TF32 +66.9%。
                    • 双 3090 + NVLink:解锁后 GPU0 68.19/75.79/48.26;对照本帖 locked 高 26–50%,但属跨机对照。
                    • 单 3090:解锁后 108.48/116.98/61.65;无自家 before。
                    • 3080 20GB 魔改卡:若 gpu_unlock 同样有效,CP 值理论上优于 10GB 版与 3090;但属未验证路径,先验卡再买。

                    给要试 3080 的人:官方未验证、要 cold boot、要看 journalctl -b | grep gpu_unlock,长期注意 Xid/掉卡。

                    kun chenK
                    kun chenK
                    kun chen
                    编写于 最后由 编辑
                    #36

                    @starryskyknight 你好,我是3080 10G,昨天解锁了,结果算力是提高了但是STRATA运行却没什么变化?CODEX的分析:
                    FP16 算力:53.9 → 102.6 TFLOPS,约 1.90 倍。
                    BF16 算力:59.0 → 101.7 TFLOPS,约 1.72 倍。
                    数值抽检全部通过;这组 Strata 测试整体耗时没有明显改善。
                    是有什么参数需要调整吗?测了一天没有头绪,请指点一下。

                    Hackner WeinlandH 1 条回复 最后回复
                    0
                    • kun chenK kun chen

                      @starryskyknight 你好,我是3080 10G,昨天解锁了,结果算力是提高了但是STRATA运行却没什么变化?CODEX的分析:
                      FP16 算力:53.9 → 102.6 TFLOPS,约 1.90 倍。
                      BF16 算力:59.0 → 101.7 TFLOPS,约 1.72 倍。
                      数值抽检全部通过;这组 Strata 测试整体耗时没有明显改善。
                      是有什么参数需要调整吗?测了一天没有头绪,请指点一下。

                      Hackner WeinlandH
                      Hackner WeinlandH
                      Hackner Weinland
                      编写于 最后由 编辑
                      #37

                      @kun-chen 兄嘚,算力解锁了一倍,prefill应该会提速一倍吧?搞定了说一下

                      1 条回复 最后回复
                      0
                      • PrioP Prio

                        @tutu 没哦,刚刚看了西北区,3090只有24g,任重道远

                        T
                        T
                        tutu
                        编写于 最后由 编辑
                        #38

                        火狐截图_2026-10-24T09-54-54.506Z.png
                        为了传个图片还绑定了个邮箱,,也不知道你怎么就找不到

                        PrioP 1 条回复 最后回复
                        0
                        • T tutu

                          火狐截图_2026-10-24T09-54-54.506Z.png
                          为了传个图片还绑定了个邮箱,,也不知道你怎么就找不到

                          PrioP
                          PrioP
                          Prio
                          体面乡绅
                          编写于 最后由 编辑
                          #39

                          @tutu 我是在网页上的,大佬。。。没想到他是在应用里面才有,不过我好奇为什么48gb的3090没华强北弄出来,诶,找翻翻开 推特看看

                          1 条回复 最后回复
                          0

                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                          有了你的建议,这篇帖子会更精彩哦 💗

                          注册 登录
                          回复
                          • 在新帖中回复
                          登录后回复
                          • 从旧到新
                          • 从新到旧
                          • 最多赞同


                          • 登录

                          • 登录或注册以进行搜索。
                          • 第一个帖子
                            最后一个帖子
                          0
                          • 版块
                          • 最新
                          • 标签
                          • 热门
                          • 用户
                          • 群组