跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 4090 (4070TI) 解锁F16(FP32)算力 加快PREFILL

4090 (4070TI) 解锁F16(FP32)算力 加快PREFILL

已定时 已固定 已锁定 已移动 热议 AI硬件
rtx4090cuda
26 帖子 16 发布者 624 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • NY ZhaoN NY Zhao

    @terry 我仔细研究了下,不是物理的,也不是bios,可逆的,不过只有FP16和32,感觉只有在训练的时候有用,普通推理的时候,我们不都用混合量化,感觉收益不大

    terryT
    terryT
    terry
    易有太极
    编写于 最后由 terry 编辑
    #14

    @NY-Zhao 你是在开玩笑吗?大模型推理主力是BF16,ComfyUI是BF16+FP32。混合量化是云端,本地除了DeepSeek的NVFP4+FP8等少数情况,BF16算力是最重要的,覆盖绝大多数范围。

    油管:https://www.youtube.com/@抡锤者

    David ChenD 1 条回复 最后回复
    0
    • NY ZhaoN
      NY ZhaoN
      NY Zhao
      编写于 最后由 编辑
      #15

      @terry 哦吼,真的啊,太好了,那我要去搞了,等他们的windows移植版出来

      1 条回复 最后回复
      0
      • Alex LiuA
        Alex LiuA
        Alex Liu
        编写于 最后由 编辑
        #16

        老特又有素材做视频了, 我都想好第二个视频就叫做N 卡专栏。

        terryT 1 条回复 最后回复
        0
        • terryT terry

          @NY-Zhao 你是在开玩笑吗?大模型推理主力是BF16,ComfyUI是BF16+FP32。混合量化是云端,本地除了DeepSeek的NVFP4+FP8等少数情况,BF16算力是最重要的,覆盖绝大多数范围。

          David ChenD
          David ChenD
          David Chen
          贵族大夫 硕果累累
          编写于 最后由 David Chen 编辑
          #17

          @terry 我修正我的看法,可惜5090(還?)不能解鎖,不然我之前的雙5090 如果可以改FP16架構又可以進一步飛天了

          https://lcz.me/topic/1840

          image.jpeg

          terryT 1 条回复 最后回复
          0
          • Alex LiuA Alex Liu

            老特又有素材做视频了, 我都想好第二个视频就叫做N 卡专栏。

            terryT
            terryT
            terry
            易有太极
            编写于 最后由 编辑
            #18

            @Alex-Liu 已经水了视频。😂

            油管:https://www.youtube.com/@抡锤者

            1 条回复 最后回复
            0
            • David ChenD David Chen

              @terry 我修正我的看法,可惜5090(還?)不能解鎖,不然我之前的雙5090 如果可以改FP16架構又可以進一步飛天了

              https://lcz.me/topic/1840

              image.jpeg

              terryT
              terryT
              terry
              易有太极
              编写于 最后由 terry 编辑
              #19

              @David-Chen 5090算力已经过剩了,它的问题是显存容量还有发热。

              油管:https://www.youtube.com/@抡锤者

              David ChenD 1 条回复 最后回复
              0
              • terryT terry

                @David-Chen 5090算力已经过剩了,它的问题是显存容量还有发热。

                David ChenD
                David ChenD
                David Chen
                贵族大夫 硕果累累
                编写于 最后由 编辑
                #20

                @terry 我告訴你一個祕密,跑雙卡反而顯卡單張耗電小,更不容易發熱,那怕是5090這種火爐也一樣 ^_^

                用户名违规用 terryT 2 条回复 最后回复
                0
                • 用户名违规用
                  用户名违规用
                  用户名违规
                  体面乡绅
                  编写于 最后由 编辑
                  #21

                  4090D-48G测试结果:
                  利好comfyui 图片和视频渲染速度提升80%。
                  大模型 利好,预训练FP32速度。推理没有任何进步。

                  terryT 1 条回复 最后回复
                  0
                  • JumpEggKillerJ
                    JumpEggKillerJ
                    JumpEggKiller
                    体面乡绅
                    编写于 最后由 编辑
                    #22

                    咱们这三瓜两枣的,老黄怕是看不上,哈哈哈,供应Vera Rubin都还供不上。

                    1 条回复 最后回复
                    0
                    • David ChenD David Chen

                      @terry 我告訴你一個祕密,跑雙卡反而顯卡單張耗電小,更不容易發熱,那怕是5090這種火爐也一樣 ^_^

                      用户名违规用
                      用户名违规用
                      用户名违规
                      体面乡绅
                      编写于 最后由 编辑
                      #23

                      @David-Chen 啥?双卡整机功耗比单卡还低?你这是一点都不尊重能量守恒啊。

                      1 条回复 最后回复
                      0
                      • David ChenD David Chen

                        @terry 我告訴你一個祕密,跑雙卡反而顯卡單張耗電小,更不容易發熱,那怕是5090這種火爐也一樣 ^_^

                        terryT
                        terryT
                        terry
                        易有太极
                        编写于 最后由 terry 编辑
                        #24

                        @David-Chen 这么夸张?那普大喜奔。难以置信啊。

                        油管:https://www.youtube.com/@抡锤者

                        1 条回复 最后回复
                        0
                        • 用户名违规用 用户名违规

                          4090D-48G测试结果:
                          利好comfyui 图片和视频渲染速度提升80%。
                          大模型 利好,预训练FP32速度。推理没有任何进步。

                          terryT
                          terryT
                          terry
                          易有太极
                          编写于 最后由 编辑
                          #25

                          @用户名违规 那不是挺好?我们就是想渲染更快

                          油管:https://www.youtube.com/@抡锤者

                          1 条回复 最后回复
                          0
                          • Sean WangS
                            Sean WangS
                            Sean Wang
                            编写于 最后由 编辑
                            #26

                            没提到4080系列的,想知道一样能用吗?

                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组