跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 3090坛友进来,过年了【解锁F16算力 加快TTFT】!

3090坛友进来,过年了【解锁F16算力 加快TTFT】!

已定时 固定直到 2026/10/24 02:40 已锁定 已移动 精华 热议 AI硬件
rtx3090nvidia
25 帖子 12 发布者 1.1k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • stxpnetS
    stxpnetS
    stxpnet
    王侯将相
    编写于 最后由 stxpnet 编辑
    #1

    {057977A0-C51D-4023-8F3D-13085E8D39E9}.jpeg

    如果你用的是Ubuntu 22.04 / kernel 5.15,设置说明:

    该模块为6.16+编写。5.15版本需要两个小修复:为Linux/Aperture.h做一个存根,以及在检查前把显卡切换到D0(GPU解锁问题#3中的修复)。

    initramfs-tools在加载模块前运行了udev,所以Nvidia先抓卡,模块什么都不做。我改用初始化顶脚本加载它,这样它总是先于udev运行。

    Sudo重启不够,显卡保留电源。关机,再开机。请查看journalctl -k -b |Grep gpu_unlock,你希望每张卡牌只“解锁一次”。
    https://github.com/Zagitta/gpu-unlock

    https://github.com/noonghunna/club-3090/issues/1755

    image.jpeg

    预填充快了10%-15% 左右。 本地AI爆发的红利,还在增加!

    双卡3090 PCIE 4.0 16X/16X

    白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
    夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
    1 条回复 最后回复
    5
    • stxpnetS
      stxpnetS
      stxpnet
      王侯将相
      编写于 最后由 stxpnet 编辑
      #2

      Zagitta/gpu-unlock:给 RTX 3090 解锁满速 BF16 的内核模块

      发布日期:2026 年 10 月 18 日 | Stars:约 137 | 状态:更新非常活跃

      项目背景

      2026 年 10 月 18 日,开发者 Zagitta 公开了 gpu-unlock 项目。它要解决的是 NVIDIA 从安培一代就开始的老问题:GeForce 消费卡(GA102/GA104)的 BF16 张量运算被固件人为限速,远低于专业卡(RTX A 系列)的速率,而专业卡硬件完全相同,只是速度选择器寄存器被锁死。社区此前已有针对矿卡 CMP 90HX 的 cmp90hx-unlock(WildFlash1st 维护),本项目的 V67 签名常量 正是从那套方案改编而来。

      创新点:实现形态

      它是一个 Linux 内核模块,在 initramfs 阶段、NVIDIA 官方驱动绑定显卡之前 运行:

      1. 用从 610.43.03 版官方包 中提取并校验过 SHA-256 的 GSP/Booter 固件,以带 V67 签名的方式完成解锁
      2. 向两个速度选择器寄存器写入解锁值:SS0 写 0x88888888(选中满速 BF16);SS1 写 0x8(效果未验证)
      3. 执行 FLR 复位,再把干净的卡交还给未修改的原厂驱动

      它既不是 UEFI 程序也不是魔改驱动。 作者在 CachyOS 内核 + NVIDIA 615.71.09 驱动上验证:BF16/F16 运算约提升 40%。

      关键限制

      限制项 说明
      设备 ID 只接受 GeForce/CMP 的 GA102/GA104,实测仅覆盖一张 RTX 3090(3090 Ti 等在 issue 请求中)
      启动方式 必须冷启动生效,热重启不支持
      启用方式 通过内核命令行 gpu_unlock.targets= 显式 opt-in
      驱动绑定 固件输入严格钉死 610.43.03,换驱动需跟进适配

      对 3090 持有者意味着什么?

      第一,运行时解锁,无变砖风险。 不刷 VBIOS、不写 EEPROM,断电重启即恢复原状——这是它比一切"改 BIOS 解锁"方案最优雅的地方。DKMS + Arch/Debian/RPM 三条打包路径,装起来像正常内核模块。

      第二,收益精准命中 AI 推理场景。 sm_86 没有 FP8 和 FP4,3090 跑大模型最吃重的就是 BF16/INT8 张量核心。对做 LLM 推理的人(尤其长上下文、prefill 密集、KV cache 全 BF16 的负载),40% 的 BF16 提速 意味着 vLLM/SGLang 的 prefill 吞吐和混合精度层的直接受益,等于零成本把 3090 往 A6000 的算力规格拉近一档。游戏玩家基本无感——FP32/光栅不受此锁影响。

      第三,注意边界。 这是单卡单环境的实证结果,作者自己声明"其他 3090 板卡和环境未经验证";固件来源受 NVIDIA 驱动许可协议约束,作者只声明个人本地打包用途。加上驱动版本强绑定,目前更像给折腾党的高级工具,而非普适方案。对双 3090 机器(正好在用 615.71.09)来说值得关注——若后续适配驱动版本,INT8 W8A8 + 满速 BF16 的组合会明显补上 3090 长上下文推理的短板。

      按 vLLM/SGLang(W8A8/W4A16)实际场景拆解

      ① 完全不碰张量核心的负载 → 零收益

      传统 FP32 CUDA 核心 GEMM、光栅化、显存带宽都不受这个锁影响。解锁的是张量核心速率选择器,纯标量/向量计算没戏。

      ② W4A16 / W8A16(AWQ、GPTQ、Marlin)→ 有收益,主要在预填充

      这是很多人忽略的点:现在的 INT4/INT8 权重量化在 vLLM/SGLang 里几乎全是 "weight-only" 方案——反量化成 FP16 后跑 FP16 张量核心 GEMM。仓库作者实测原话是 "Faster BF16/F16 operations. About 40% gain",F16 也在解锁范围内。所以这类模型的 prefill(compute-bound,张量核心吞吐决定速度)理论上直接吃到接近 40% 的提升。

      ③ 真·INT8 计算(Freaksterz W8A8,activation 也是 INT8)→ 很可能有,未经验证

      仓库实测证据只覆盖 BF16。但有一个强旁证:

      精度 RTX 3090 RTX A6000 比值
      INT8 (dense) 142 TOPS 308 TOPS 2.17x
      BF16 71 TFLOPS 154.7 TFLOPS 2.18x

      INT8 与 BF16 的锁死比例完全一致——说明 NVIDIA 在 GA102 上是把整条张量核心流水线(含 INT8/INT4)一起限速的。SS0 寄存器那 8 个 4-bit 字段大概率就是按精度分档的速率选择器,写 0x88888888 是把所有档位拉满。

      ④ 解码(decode)阶段 → 基本无感

      Decode 是显存带宽瓶颈(每 token 把权重从显存搬一遍),不是算力瓶颈。这个解锁是算力解锁,3090 的 936 GB/s 带宽没人动过。收益集中在 prefill / 长上下文首 token(TTFT),稳态出字速度 t/s 不会明显变化。

      结论 + 建议

      W8A8 v3 属于第 ③ 层,值得实测验证:解锁前后各跑一次 vLLM 的 prefill 吞吐测试(如 vllm bench 长 prompt 的 TTFT,或 torch._int_mm 微基准)。如果 INT8 也吃到锁的解除,对"256K 上下文 + prefill 重"的部署是实打实的收益;同时把 decode 速度预期管理好,那边不会有魔法。

      双卡3090 PCIE 4.0 16X/16X

      白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
      夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
      J 1 条回复 最后回复
      3
      • A
        A
        applejuice
        王侯将相
        编写于 最后由 编辑
        #3

        立刻就试试
        我还打算跳船去r9700 了

        1 条回复 最后回复
        0
        • A
          A
          applejuice
          王侯将相
          编写于 最后由 applejuice 编辑
          #4

          来了

          Tensor matmul (torch 2.14 + CUDA 13, 8192³, 250 W cap):

          FP16 BF16 TF32
          GPU0 locked 53.8 TFLOPS 56.5 32.2
          GPU0 unlocked 67.8 (+26 %) 72.6 (+28 %) 41.5 (+29 %)
          GPU1 unlocked 72.8 76.5 44.7

          没有像github 的50% 那么多,有可能是限功率250w 的原因

          Strata (sergqwer fork 0.1.44.1-nvfp4.2, UD-Q4_K_XL, production config).

          Before After Change
          Prefill 19K tokens 2,277 tok/s 2,618 +15 %
          Prefill 43K 2,786 3,227 +16 %
          Prefill 89K 3,126 3,539 +13 %
          Prefill 122K 3,189 3,613 +13 %
          Decode zh prose / zh chat / EN / code 94.5 / 100.3 / 97.6 / 161.2 96.4 / 98.2 / 99.6 / 159.8 same
          Tool call pass pass

          decode 没变,预料中 因为decode 是被宽带限制了
          coding 150t/s

          stxpnetS 1 条回复 最后回复
          2
          • starryskyknightS
            starryskyknightS
            starryskyknight
            体面乡绅 硕果累累
            编写于 最后由 编辑
            #5

            感謝分享 來試試看

            1 条回复 最后回复
            1
            • ,terryT terry 固定了此主题
            • ,terryT terry 将此主题从 随便聊聊 移至此处
            • XiaoteX
              XiaoteX
              Xiaote
              编写于 最后由 编辑
              #6

              ⭐ 版主审定:本帖设为精华,作者 +5 积分奖励,希望再接再厉!

              奖励凭证:精华 +5 分 · 编号 f2488-1233-1(系统自动发放,显示稍有延迟)

              老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

              1 条回复 最后回复
              0
              • XiaoteX
                XiaoteX
                Xiaote
                编写于 最后由 编辑
                #7

                解锁思路值得跟,但这类内核模块改的是 SM 的指令与调度路径,验证要严一点:

                • 先用同一模型、同一量化、同一 prompt 和 seed,对比解锁前后的逐 token 输出或 loss,别只看 matmul TFLOPS;算力涨了但数值路径变了,对推理是负收益。
                • 250W cap 下 +26% 到 +28%,要确认是解锁了 BF16 吞吐,还是顺带改了频率/电压曲线。跑一轮 24 小时长稳和反复挂起/恢复,看会不会掉卡或 Xid。
                • 驱动和 CUDA 升级可能覆盖或让模块失效,生产机别用;多卡、多进程下也要确认是每张卡都只解锁一次。
                • 你贴的 8192³ matmul 方向对,但还缺真实模型的 prefill/decode 端到端对比,尤其是长上下文下的数值一致性。

                prefill 快 10% 到 15% 如果能在真实模型上复现,对 3090 这批卡确实有价值。

                老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                1 条回复 最后回复
                0
                • A applejuice

                  来了

                  Tensor matmul (torch 2.14 + CUDA 13, 8192³, 250 W cap):

                  FP16 BF16 TF32
                  GPU0 locked 53.8 TFLOPS 56.5 32.2
                  GPU0 unlocked 67.8 (+26 %) 72.6 (+28 %) 41.5 (+29 %)
                  GPU1 unlocked 72.8 76.5 44.7

                  没有像github 的50% 那么多,有可能是限功率250w 的原因

                  Strata (sergqwer fork 0.1.44.1-nvfp4.2, UD-Q4_K_XL, production config).

                  Before After Change
                  Prefill 19K tokens 2,277 tok/s 2,618 +15 %
                  Prefill 43K 2,786 3,227 +16 %
                  Prefill 89K 3,126 3,539 +13 %
                  Prefill 122K 3,189 3,613 +13 %
                  Decode zh prose / zh chat / EN / code 94.5 / 100.3 / 97.6 / 161.2 96.4 / 98.2 / 99.6 / 159.8 same
                  Tool call pass pass

                  decode 没变,预料中 因为decode 是被宽带限制了
                  coding 150t/s

                  stxpnetS
                  stxpnetS
                  stxpnet
                  王侯将相
                  编写于 最后由 编辑
                  #8

                  @applejuice 你用QFN3.8 UD Q4 XL,感觉质量有提升么?
                  我受不了那个速度,已经回到GSQ IQ3_S了, 感觉我目前的场景,使用IQ3_S也足够了。 (还有个原因就是我的软件之前在IQ3_S上面调优过,对这个模型有点过拟合,换了UD Q4 XL,反而质量变差。。。。)

                  双卡3090 PCIE 4.0 16X/16X

                  白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                  夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                  A 1 条回复 最后回复
                  0
                  • stxpnetS stxpnet

                    @applejuice 你用QFN3.8 UD Q4 XL,感觉质量有提升么?
                    我受不了那个速度,已经回到GSQ IQ3_S了, 感觉我目前的场景,使用IQ3_S也足够了。 (还有个原因就是我的软件之前在IQ3_S上面调优过,对这个模型有点过拟合,换了UD Q4 XL,反而质量变差。。。。)

                    A
                    A
                    applejuice
                    王侯将相
                    编写于 最后由 applejuice 编辑
                    #9

                    @stxpnet 其实我也不懂 就是因为不懂 所以尽量用大点的模型
                    这个速度快过用27b 所以我继续用了

                    1 条回复 最后回复
                    0
                    • gao GaoG
                      gao GaoG
                      gao Gao
                      编写于 最后由 编辑
                      #10

                      效果挺好的 感觉速度提升不少,具体待测试,值得推荐

                      1 条回复 最后回复
                      0
                      • stxpnetS stxpnet

                        Zagitta/gpu-unlock:给 RTX 3090 解锁满速 BF16 的内核模块

                        发布日期:2026 年 10 月 18 日 | Stars:约 137 | 状态:更新非常活跃

                        项目背景

                        2026 年 10 月 18 日,开发者 Zagitta 公开了 gpu-unlock 项目。它要解决的是 NVIDIA 从安培一代就开始的老问题:GeForce 消费卡(GA102/GA104)的 BF16 张量运算被固件人为限速,远低于专业卡(RTX A 系列)的速率,而专业卡硬件完全相同,只是速度选择器寄存器被锁死。社区此前已有针对矿卡 CMP 90HX 的 cmp90hx-unlock(WildFlash1st 维护),本项目的 V67 签名常量 正是从那套方案改编而来。

                        创新点:实现形态

                        它是一个 Linux 内核模块,在 initramfs 阶段、NVIDIA 官方驱动绑定显卡之前 运行:

                        1. 用从 610.43.03 版官方包 中提取并校验过 SHA-256 的 GSP/Booter 固件,以带 V67 签名的方式完成解锁
                        2. 向两个速度选择器寄存器写入解锁值:SS0 写 0x88888888(选中满速 BF16);SS1 写 0x8(效果未验证)
                        3. 执行 FLR 复位,再把干净的卡交还给未修改的原厂驱动

                        它既不是 UEFI 程序也不是魔改驱动。 作者在 CachyOS 内核 + NVIDIA 615.71.09 驱动上验证:BF16/F16 运算约提升 40%。

                        关键限制

                        限制项 说明
                        设备 ID 只接受 GeForce/CMP 的 GA102/GA104,实测仅覆盖一张 RTX 3090(3090 Ti 等在 issue 请求中)
                        启动方式 必须冷启动生效,热重启不支持
                        启用方式 通过内核命令行 gpu_unlock.targets= 显式 opt-in
                        驱动绑定 固件输入严格钉死 610.43.03,换驱动需跟进适配

                        对 3090 持有者意味着什么?

                        第一,运行时解锁,无变砖风险。 不刷 VBIOS、不写 EEPROM,断电重启即恢复原状——这是它比一切"改 BIOS 解锁"方案最优雅的地方。DKMS + Arch/Debian/RPM 三条打包路径,装起来像正常内核模块。

                        第二,收益精准命中 AI 推理场景。 sm_86 没有 FP8 和 FP4,3090 跑大模型最吃重的就是 BF16/INT8 张量核心。对做 LLM 推理的人(尤其长上下文、prefill 密集、KV cache 全 BF16 的负载),40% 的 BF16 提速 意味着 vLLM/SGLang 的 prefill 吞吐和混合精度层的直接受益,等于零成本把 3090 往 A6000 的算力规格拉近一档。游戏玩家基本无感——FP32/光栅不受此锁影响。

                        第三,注意边界。 这是单卡单环境的实证结果,作者自己声明"其他 3090 板卡和环境未经验证";固件来源受 NVIDIA 驱动许可协议约束,作者只声明个人本地打包用途。加上驱动版本强绑定,目前更像给折腾党的高级工具,而非普适方案。对双 3090 机器(正好在用 615.71.09)来说值得关注——若后续适配驱动版本,INT8 W8A8 + 满速 BF16 的组合会明显补上 3090 长上下文推理的短板。

                        按 vLLM/SGLang(W8A8/W4A16)实际场景拆解

                        ① 完全不碰张量核心的负载 → 零收益

                        传统 FP32 CUDA 核心 GEMM、光栅化、显存带宽都不受这个锁影响。解锁的是张量核心速率选择器,纯标量/向量计算没戏。

                        ② W4A16 / W8A16(AWQ、GPTQ、Marlin)→ 有收益,主要在预填充

                        这是很多人忽略的点:现在的 INT4/INT8 权重量化在 vLLM/SGLang 里几乎全是 "weight-only" 方案——反量化成 FP16 后跑 FP16 张量核心 GEMM。仓库作者实测原话是 "Faster BF16/F16 operations. About 40% gain",F16 也在解锁范围内。所以这类模型的 prefill(compute-bound,张量核心吞吐决定速度)理论上直接吃到接近 40% 的提升。

                        ③ 真·INT8 计算(Freaksterz W8A8,activation 也是 INT8)→ 很可能有,未经验证

                        仓库实测证据只覆盖 BF16。但有一个强旁证:

                        精度 RTX 3090 RTX A6000 比值
                        INT8 (dense) 142 TOPS 308 TOPS 2.17x
                        BF16 71 TFLOPS 154.7 TFLOPS 2.18x

                        INT8 与 BF16 的锁死比例完全一致——说明 NVIDIA 在 GA102 上是把整条张量核心流水线(含 INT8/INT4)一起限速的。SS0 寄存器那 8 个 4-bit 字段大概率就是按精度分档的速率选择器,写 0x88888888 是把所有档位拉满。

                        ④ 解码(decode)阶段 → 基本无感

                        Decode 是显存带宽瓶颈(每 token 把权重从显存搬一遍),不是算力瓶颈。这个解锁是算力解锁,3090 的 936 GB/s 带宽没人动过。收益集中在 prefill / 长上下文首 token(TTFT),稳态出字速度 t/s 不会明显变化。

                        结论 + 建议

                        W8A8 v3 属于第 ③ 层,值得实测验证:解锁前后各跑一次 vLLM 的 prefill 吞吐测试(如 vllm bench 长 prompt 的 TTFT,或 torch._int_mm 微基准)。如果 INT8 也吃到锁的解除,对"256K 上下文 + prefill 重"的部署是实打实的收益;同时把 decode 速度预期管理好,那边不会有魔法。

                        J
                        J
                        joker_chang
                        体面乡绅 硕果累累
                        编写于 最后由 编辑
                        #11

                        @stxpnet 说:

                        3090 Ti 等在 issue 请求中

                        那我还得再等等,并且从windows10迁移到ubuntu也是一个巨大的工程~

                        1 条回复 最后回复
                        0
                        • gao GaoG
                          gao GaoG
                          gao Gao
                          编写于 最后由 gao Gao 编辑
                          #12

                          解锁版 单卡 3090 24G,内存96GB, 我让codex 跑通流程做成skill后,让 dsh + swift-1.5-iq2_xs 循环跑任务 ,所以模型差点关系不大,主要追求速度. 当前 API 健康检查正常:模型 swift-1.5-iq2_xs 已加载,512K 上下文,图像输入已启用。

                          • 模型文件:/pc8share/Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS/
                          • Strata pack:/home/haoniu/Strata-data-iq3_s/packs/swift-iq2_xs
                          • **KV:**未指定量化参数,使用 FP16 默认;KV resident 32,768
                          • **并发:**1 路
                          • **专家缓存:**自动分配;启动日志显示约 15.56 GiB 进入 3090
                          • PLE:--ple-io ram,日志确认 PLE 表已锁入 RAM
                          • **显存预留:**1,024 MiB;启动后日志显示约 800 MiB 空闲
                          • **会话缓存:**上限 10 GiB,2 个槽位;这是上限,不会开机就占满
                          • MTP:--spec 4,--spec-min-p 0.5
                          • **视觉:**已启用,编码器使用 CPU
                            2026-10-22 10 51 24.png
                            2026-10-22 10 53 21.png
                            2026-10-22 10 53 46.png
                            2026-10-22 10 54 01.png
                          1 条回复 最后回复
                          1
                          • stxpnetS
                            stxpnetS
                            stxpnet
                            王侯将相
                            编写于 最后由 编辑
                            #13

                            你这是用时间换质量啊。。。

                            双卡3090 PCIE 4.0 16X/16X

                            白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                            夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                            1 条回复 最后回复
                            1
                            • terryT
                              terryT
                              terry
                              易有太极
                              编写于 最后由 编辑
                              #14

                              昨晚我就根据这个帖子的消息水了个视频。

                              油管:https://www.youtube.com/@抡锤者

                              1 条回复 最后回复
                              0
                              • xiongjie gaoX
                                xiongjie gaoX
                                xiongjie gao
                                体面乡绅 硕果累累
                                编写于 最后由 编辑
                                #15

                                这以后3090涨价涨得不得颐指气使,理直气壮?

                                1 条回复 最后回复
                                0
                                • ,game gameG game game 引用了 此主题
                                • T
                                  T
                                  tutu
                                  编写于 最后由 编辑
                                  #16

                                  其实 3090 真正牛逼的是可以改 48g ,另外 3090 的 int8 tensor 算力没砍,博主的数据在 int8 上有误

                                  精度 RTX 3090 RTX A6000 比值
                                  INT8 (dense) 142 TOPS 308 TOPS 2.17x 实际 3090int8 算力是 284
                                  BF16 71 TFLOPS 154.7 TFLOPS 2.18x

                                  本人用 3090ti nvlink 使用 sglang 跑 qwen3.8-27b w8a8-int8 prefill 短上下文最快 7000t/s ,20k 上下文也能做到 5000 多 t/s

                                  PrioP 1 条回复 最后回复
                                  0
                                  • aaron17 jiangA
                                    aaron17 jiangA
                                    aaron17 jiang
                                    编写于 最后由 编辑
                                    #17

                                    很好,感谢楼主,已解锁,双卡3090跑27b tp=2的prefill提升40%+

                                    1 条回复 最后回复
                                    0
                                    • XiaoteX
                                      XiaoteX
                                      Xiaote
                                      编写于 最后由 编辑
                                      #18

                                      🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!

                                      奖励凭证:热议 +3 分 · 编号 h2488-1233-1(系统自动发放,显示稍有延迟)

                                      老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                                      1 条回复 最后回复
                                      0
                                      • T tutu

                                        其实 3090 真正牛逼的是可以改 48g ,另外 3090 的 int8 tensor 算力没砍,博主的数据在 int8 上有误

                                        精度 RTX 3090 RTX A6000 比值
                                        INT8 (dense) 142 TOPS 308 TOPS 2.17x 实际 3090int8 算力是 284
                                        BF16 71 TFLOPS 154.7 TFLOPS 2.18x

                                        本人用 3090ti nvlink 使用 sglang 跑 qwen3.8-27b w8a8-int8 prefill 短上下文最快 7000t/s ,20k 上下文也能做到 5000 多 t/s

                                        PrioP
                                        PrioP
                                        Prio
                                        体面乡绅
                                        编写于 最后由 编辑
                                        #19

                                        @tutu 没发现目前可以改48g啊,3090还没官方流出来的bios版本支持48gb的显存的吧,焊上去系统也读不出48g只能有24g

                                        T 1 条回复 最后回复
                                        0
                                        • A
                                          A
                                          applejuice
                                          王侯将相
                                          编写于 最后由 applejuice 编辑
                                          #20

                                          7000t/s 很牛 3090ti 值得了

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组