跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 双3090 + Ollama 加载 Q8 视觉模型瞬间断电重启,求老哥们把脉

双3090 + Ollama 加载 Q8 视觉模型瞬间断电重启,求老哥们把脉

已定时 已固定 已锁定 已移动 AI硬件
rtx3090
20 帖子 13 发布者 165 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Leon YL 离线
    Leon YL 离线
    Leon Y
    编写于 最后由 编辑
    #1

    最近血本买了个双3090 turbo的旧机器,噪声大到突破天际。拿回家装了ubuntu后上了ollama和vllm跑qwen3-lv-32b-q8。之所以要跑qwen3-vl视觉模型是因为要处理排版复杂的pdf。在macbook上跑极其慢。买来双3090以为能速度起飞,但是踩到了坑。

    配置先贴:

    CPU:i7-9700
    板:技嘉 Z370XP SLI(双卡 PCIe x8/x8)
    卡:2× 华硕 Turbo RTX 3090 24G(涡轮,无 NVLink)
    内存:64G DDR4
    电源:长城 GW-EPS1250DA 1250W Gold(6 路 12V,每路 20A)
    系统:Ubuntu 24.04
    Ollama:刚从 GitHub 拉下来编译的最新版
    机箱没盖侧板,台扇对着吹

    症状:

    Ollama 跑 qwen3-vl:32b 的 Q8 量化版(模型大概 32G,双卡各分 ~16G),模型开始往双卡加载的那一瞬间,整机直接断电重启。不是驱动崩、不是 kernel panic,就是啪一下黑了然后重启。

    如果 CUDA_VISIBLE_DEVICES=0 只用单卡跑别的模型,完全正常。单卡 225W 下核心 53°C 稳稳的。

    已经试过的:

    • 两张卡都锁了 225W 功耗墙(nvidia-smi -pl 225)
    • 外置风扇直吹开放机箱

    自己分析:

    大概率是电源瞬时 OCP。3090 瞬时尖峰臭名昭著,虽然锁了 225W 但毫秒级 spike 照样能冲到 400W+。两块卡在 Ollama 开始加载权重的同一瞬间一起拉满,这长城多路 12V 每路才 20A(上限 240W),某一路瞬间过流直接触发保护断电。显存过热基本排除——从常温冲到 110°C 怎么也要十几二十秒,不可能加载一瞬间就黑。

    求助:

    • 有没有用类似配置(双 3090 + 多路电源)的老哥遇到过?
    • 最后是换单路 12V 电源解决的,还是另有原因?
    • 如果换电源,1500W 单路有什么坑少型号推荐?
    J P 2 条回复 最后回复
    0
    • XiaoteX 离线
      XiaoteX 离线
      Xiaote
      编写于 最后由 编辑
      #2

      @Leon Y 你的分析非常到位,就是电源的瞬时OCP问题。我来补充几点:

      1. 关于你判断的正确性
      长城GW-EPS1250DA是多路12V设计(6路×20A=每路240W),而3090的瞬时峰值功耗(transient spike)在锁225W的情况下,加载权重瞬间仍可达350-450W。关键是:两块卡同时加载的瞬间,如果刚好落在同一路12V上(或者其中一路带的卡+其他设备超过240W),就会触发OCP导致整机断电。

      2. 验证方法
      在换电源之前,可以先做个小实验:用两张卡分别插不同的PCIe供电线接口(确保来自不同12V rail),然后先用单卡加载模型,再手动分配两张卡到不同的ollama实例。如果分开加载不出问题,基本坐实是多路OCP。

      3. 电源推荐(1500W 单路)
      双3090锁225W的话,整机峰值大概在600-700W(CPU 100W左右 + 主板外设),1500W单路绰绰有余而且余量很大。单路12V设计意味着整机所有电流共用一条大电流通道,不会出现某一路过流触发保护的问题。

      推荐几个坑少的型号:

      • Super Flower Leadex VII 1600W(或 Leadex III 1300W)— 海韵代工,单路12V设计,瞬态响应极好,3090 spike扛得住。缺点是价格偏高。
      • Corsair HX1200i / HX1500i(2023版)— 单路12V,数字接口可以实时监控电流,品质非常稳定。1500W版本JD大概1500-2000。
      • EVGA SuperNOVA G2 1600W / P2 1600W(如果还能买到)— 老牌经典,单路12V,瞬态响应优秀。二手市场较常见。
      • Seasonic Prime TX-1600 — 钛金牌,单路12V,顶级做工。缺点是贵,但3090 spike在这个电源面前根本不是问题。

      4. 便宜替代方案
      如果不想花大钱换电源,还有一个偏方:进BIOS把PCIe Gen降到Gen3(Z370默认可能是Auto/Gen3,但实际双卡x8/x8下跑Gen3可能会不稳定),然后在nvidia-smi里再进一步降压降频:

      sudo nvidia-smi -pl 200 -i 0
      sudo nvidia-smi -pl 200 -i 1
      

      再加核心降压offset(-100到-150MHz),瞬态峰值能再压30-50W。虽然治标不治本,但在买到新电源前可以勉强跑起来。

      5. 关于3070/Q8的补充
      锁225W跑Q8的32B视觉模型,双卡分载各16G左右,推理速度大约在15-20t/s(看上下文长度),比MacBook快5-8倍是肯定有的。等电源问题解决后体验会好很多。

      1 条回复 最后回复
      0
      • A 离线
        A 离线
        applejuice
        编写于 最后由 applejuice 编辑
        #3

        我用的也是长城 1250w 但是客服说不懂什么型号
        也是接2张3090 功耗限制230w,240w

        但是没试过ollama
        llama 跟 vllm 都没问题

        1 条回复 最后回复
        0
        • AresROCA 离线
          AresROCA 离线
          AresROC
          编写于 最后由 编辑
          #4

          我试过双卡3090 850w 电源不够用的。加一个650w以上电源试试就知道了。现在用的是1200w

          1 条回复 最后回复
          0
          • Leon YL 离线
            Leon YL 离线
            Leon Y
            编写于 最后由 编辑
            #5

            我有个corsair RX1000x
            换过去试试

            1 条回复 最后回复
            0
            • never neveN 离线
              never neveN 离线
              never neve
              编写于 最后由 编辑
              #6

              建議樓主可以檢查下插座或電源插版試試,有些問題不一定來至電腦本身

              1 条回复 最后回复
              0
              • Leon YL 离线
                Leon YL 离线
                Leon Y
                编写于 最后由 编辑
                #7

                asked hermes to learn https://github.com/noonghunna/club-3090 and changed PSU to Corsair RM1000X
                it works now!!!

                1 条回复 最后回复
                1
                • Leon YL Leon Y

                  最近血本买了个双3090 turbo的旧机器,噪声大到突破天际。拿回家装了ubuntu后上了ollama和vllm跑qwen3-lv-32b-q8。之所以要跑qwen3-vl视觉模型是因为要处理排版复杂的pdf。在macbook上跑极其慢。买来双3090以为能速度起飞,但是踩到了坑。

                  配置先贴:

                  CPU:i7-9700
                  板:技嘉 Z370XP SLI(双卡 PCIe x8/x8)
                  卡:2× 华硕 Turbo RTX 3090 24G(涡轮,无 NVLink)
                  内存:64G DDR4
                  电源:长城 GW-EPS1250DA 1250W Gold(6 路 12V,每路 20A)
                  系统:Ubuntu 24.04
                  Ollama:刚从 GitHub 拉下来编译的最新版
                  机箱没盖侧板,台扇对着吹

                  症状:

                  Ollama 跑 qwen3-vl:32b 的 Q8 量化版(模型大概 32G,双卡各分 ~16G),模型开始往双卡加载的那一瞬间,整机直接断电重启。不是驱动崩、不是 kernel panic,就是啪一下黑了然后重启。

                  如果 CUDA_VISIBLE_DEVICES=0 只用单卡跑别的模型,完全正常。单卡 225W 下核心 53°C 稳稳的。

                  已经试过的:

                  • 两张卡都锁了 225W 功耗墙(nvidia-smi -pl 225)
                  • 外置风扇直吹开放机箱

                  自己分析:

                  大概率是电源瞬时 OCP。3090 瞬时尖峰臭名昭著,虽然锁了 225W 但毫秒级 spike 照样能冲到 400W+。两块卡在 Ollama 开始加载权重的同一瞬间一起拉满,这长城多路 12V 每路才 20A(上限 240W),某一路瞬间过流直接触发保护断电。显存过热基本排除——从常温冲到 110°C 怎么也要十几二十秒,不可能加载一瞬间就黑。

                  求助:

                  • 有没有用类似配置(双 3090 + 多路电源)的老哥遇到过?
                  • 最后是换单路 12V 电源解决的,还是另有原因?
                  • 如果换电源,1500W 单路有什么坑少型号推荐?
                  J 离线
                  J 离线
                  johnnybegood
                  编写于 最后由 编辑
                  #8

                  @Leon-Y 说:

                  长城 GW-EPS1250DA 1250W Gold(6 路 12V,每路 20A)
                  系统:Ubuntu 24.04

                  需要 长城 1700w 白金 电源。 别问我是怎么知道的, 我也是双卡。。。。

                  1 条回复 最后回复
                  0
                  • williamlouisW 离线
                    williamlouisW 离线
                    williamlouis
                    编写于 最后由 编辑
                    #9

                    试试振华这个牌子。抗瞬时峰值能力很强。或长城1700W吧。振华你可以先自我科普下。在研究。

                    个人主页:xlkj.org Telegram https://t.me/xlkjorg

                    5 1 条回复 最后回复
                    0
                    • williamlouisW williamlouis

                      试试振华这个牌子。抗瞬时峰值能力很强。或长城1700W吧。振华你可以先自我科普下。在研究。

                      5 在线
                      5 在线
                      566656661
                      编写于 最后由 编辑
                      #10

                      @williamlouis

                      其實atx 3.1基本上都有抗峰值硬要求, 上個正常點的atx 3.1就可以了

                      1 条回复 最后回复
                      0
                      • wwcd2016W 离线
                        wwcd2016W 离线
                        wwcd2016
                        编写于 最后由 编辑
                        #11

                        我用利民全日系的850w的具体型号TR-SP850,插了2个3090 也没有崩,不过我仅仅是测试了一下,长期跑也没有必要。
                        长期跑必须sp1000以上才靠谱。
                        电源是根,必须用好品牌,什么航嘉,长城绝对不行的。

                        5 1 条回复 最后回复
                        1
                        • wwcd2016W wwcd2016

                          我用利民全日系的850w的具体型号TR-SP850,插了2个3090 也没有崩,不过我仅仅是测试了一下,长期跑也没有必要。
                          长期跑必须sp1000以上才靠谱。
                          电源是根,必须用好品牌,什么航嘉,长城绝对不行的。

                          5 在线
                          5 在线
                          566656661
                          编写于 最后由 编辑
                          #12

                          @wwcd2016

                          沒錯

                          不過長城這個品牌很有意思, 他幫忙代工的品牌例如NZXT跟華碩的 高階電源 數值跟質量很不錯, cybernetic的評測很好, 但是長城自己出的或者代工的低階電源就很參差不齊, 很神經刀

                          CS6C 1 条回复 最后回复
                          0
                          • Leon YL 离线
                            Leon YL 离线
                            Leon Y
                            编写于 最后由 编辑
                            #13

                            Corsair RM1000X 虽然只有1000W,但是目前还是稳稳的,还是电源的瞬时OCP问题

                            Larry WangL 1 条回复 最后回复
                            0
                            • williamlouisW 离线
                              williamlouisW 离线
                              williamlouis
                              编写于 最后由 编辑
                              #14

                              电路设计单路功耗和整体功耗没有直接关系。电源的单路输出功耗是否符合设备要求。这是考虑要点。峰值是个电源的技术,不是所有电源都有。低端产品几乎是都没有的。高端只是看谁的技术更强。标准最重要的还是 实测。厂家的数据就作为参考即可,为了营销给的不准是常态了。实测这块多看看销售评价,论坛或问问其他用户是最好而且省钱的办法。我这直接大力出奇迹选个好的就收工了。

                              个人主页:xlkj.org Telegram https://t.me/xlkjorg

                              1 条回复 最后回复
                              0
                              • ye9okY 离线
                                ye9okY 离线
                                ye9ok
                                编写于 最后由 编辑
                                #15

                                https://zhuanlan.zhihu.com/p/681718570
                                功率峰值为 533W,你还得换ATX3

                                1 条回复 最后回复
                                0
                                • 5 566656661

                                  @wwcd2016

                                  沒錯

                                  不過長城這個品牌很有意思, 他幫忙代工的品牌例如NZXT跟華碩的 高階電源 數值跟質量很不錯, cybernetic的評測很好, 但是長城自己出的或者代工的低階電源就很參差不齊, 很神經刀

                                  CS6C 在线
                                  CS6C 在线
                                  CS6
                                  编写于 最后由 编辑
                                  #16

                                  @566656661 NZXT C1500 路過,接口的做工不太好...(我之前是用台達跟全漢),隨附600W的線,有一條只能跑到300W目前正在返修換貨....
                                  而且在台灣要使用 16A品字c19/c20 插头 真的挺麻煩的,家用瓦數也很容易超過1600瓦的上限

                                  1 条回复 最后回复
                                  1
                                  • Leon YL Leon Y

                                    Corsair RM1000X 虽然只有1000W,但是目前还是稳稳的,还是电源的瞬时OCP问题

                                    Larry WangL 离线
                                    Larry WangL 离线
                                    Larry Wang
                                    编写于 最后由 编辑
                                    #17

                                    @Leon-Y 你用Corsair RM1000X给两张3090+主板供电吗?第二张卡用那个接口供电?

                                    Leon YL 1 条回复 最后回复
                                    0
                                    • Larry WangL Larry Wang

                                      @Leon-Y 你用Corsair RM1000X给两张3090+主板供电吗?第二张卡用那个接口供电?

                                      Leon YL 离线
                                      Leon YL 离线
                                      Leon Y
                                      编写于 最后由 编辑
                                      #18

                                      @Larry-Wang 说:

                                      @Leon-Y 你用Corsair RM1000X给两张3090+主板供电吗?第二张卡用那个接口供电?

                                      Corsair RM1000X有6个CPU/PCIe接口,两个3090只占了4个

                                      1 条回复 最后回复
                                      0
                                      • Leon YL 离线
                                        Leon YL 离线
                                        Leon Y
                                        编写于 最后由 编辑
                                        #19

                                        59fe9776-b82b-439a-8484-81f21360389a-image.jpeg

                                        1 条回复 最后回复
                                        0
                                        • Leon YL Leon Y

                                          最近血本买了个双3090 turbo的旧机器,噪声大到突破天际。拿回家装了ubuntu后上了ollama和vllm跑qwen3-lv-32b-q8。之所以要跑qwen3-vl视觉模型是因为要处理排版复杂的pdf。在macbook上跑极其慢。买来双3090以为能速度起飞,但是踩到了坑。

                                          配置先贴:

                                          CPU:i7-9700
                                          板:技嘉 Z370XP SLI(双卡 PCIe x8/x8)
                                          卡:2× 华硕 Turbo RTX 3090 24G(涡轮,无 NVLink)
                                          内存:64G DDR4
                                          电源:长城 GW-EPS1250DA 1250W Gold(6 路 12V,每路 20A)
                                          系统:Ubuntu 24.04
                                          Ollama:刚从 GitHub 拉下来编译的最新版
                                          机箱没盖侧板,台扇对着吹

                                          症状:

                                          Ollama 跑 qwen3-vl:32b 的 Q8 量化版(模型大概 32G,双卡各分 ~16G),模型开始往双卡加载的那一瞬间,整机直接断电重启。不是驱动崩、不是 kernel panic,就是啪一下黑了然后重启。

                                          如果 CUDA_VISIBLE_DEVICES=0 只用单卡跑别的模型,完全正常。单卡 225W 下核心 53°C 稳稳的。

                                          已经试过的:

                                          • 两张卡都锁了 225W 功耗墙(nvidia-smi -pl 225)
                                          • 外置风扇直吹开放机箱

                                          自己分析:

                                          大概率是电源瞬时 OCP。3090 瞬时尖峰臭名昭著,虽然锁了 225W 但毫秒级 spike 照样能冲到 400W+。两块卡在 Ollama 开始加载权重的同一瞬间一起拉满,这长城多路 12V 每路才 20A(上限 240W),某一路瞬间过流直接触发保护断电。显存过热基本排除——从常温冲到 110°C 怎么也要十几二十秒,不可能加载一瞬间就黑。

                                          求助:

                                          • 有没有用类似配置(双 3090 + 多路电源)的老哥遇到过?
                                          • 最后是换单路 12V 电源解决的,还是另有原因?
                                          • 如果换电源,1500W 单路有什么坑少型号推荐?
                                          P 离线
                                          P 离线
                                          passss
                                          编写于 最后由 编辑
                                          #20

                                          @Leon-Y 我也双3090,用海盗船hx1200电源单路,lm studio,用qwen27b-mpt-q4,也是瞬时断电重启,现在限制到250W,用Q8非mtp模型128k上下文,25tps,q4模型37tps,比大多数人慢很多。

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 没有帐号? 注册

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组