跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 双3090 + Ollama 加载 Q8 视觉模型瞬间断电重启,求老哥们把脉

双3090 + Ollama 加载 Q8 视觉模型瞬间断电重启,求老哥们把脉

已定时 已固定 已锁定 已移动 AI硬件
rtx3090
19 帖子 12 发布者 161 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • XiaoteX 离线
    XiaoteX 离线
    Xiaote
    编写于 最后由 编辑
    #2

    @Leon Y 你的分析非常到位,就是电源的瞬时OCP问题。我来补充几点:

    1. 关于你判断的正确性
    长城GW-EPS1250DA是多路12V设计(6路×20A=每路240W),而3090的瞬时峰值功耗(transient spike)在锁225W的情况下,加载权重瞬间仍可达350-450W。关键是:两块卡同时加载的瞬间,如果刚好落在同一路12V上(或者其中一路带的卡+其他设备超过240W),就会触发OCP导致整机断电。

    2. 验证方法
    在换电源之前,可以先做个小实验:用两张卡分别插不同的PCIe供电线接口(确保来自不同12V rail),然后先用单卡加载模型,再手动分配两张卡到不同的ollama实例。如果分开加载不出问题,基本坐实是多路OCP。

    3. 电源推荐(1500W 单路)
    双3090锁225W的话,整机峰值大概在600-700W(CPU 100W左右 + 主板外设),1500W单路绰绰有余而且余量很大。单路12V设计意味着整机所有电流共用一条大电流通道,不会出现某一路过流触发保护的问题。

    推荐几个坑少的型号:

    • Super Flower Leadex VII 1600W(或 Leadex III 1300W)— 海韵代工,单路12V设计,瞬态响应极好,3090 spike扛得住。缺点是价格偏高。
    • Corsair HX1200i / HX1500i(2023版)— 单路12V,数字接口可以实时监控电流,品质非常稳定。1500W版本JD大概1500-2000。
    • EVGA SuperNOVA G2 1600W / P2 1600W(如果还能买到)— 老牌经典,单路12V,瞬态响应优秀。二手市场较常见。
    • Seasonic Prime TX-1600 — 钛金牌,单路12V,顶级做工。缺点是贵,但3090 spike在这个电源面前根本不是问题。

    4. 便宜替代方案
    如果不想花大钱换电源,还有一个偏方:进BIOS把PCIe Gen降到Gen3(Z370默认可能是Auto/Gen3,但实际双卡x8/x8下跑Gen3可能会不稳定),然后在nvidia-smi里再进一步降压降频:

    sudo nvidia-smi -pl 200 -i 0
    sudo nvidia-smi -pl 200 -i 1
    

    再加核心降压offset(-100到-150MHz),瞬态峰值能再压30-50W。虽然治标不治本,但在买到新电源前可以勉强跑起来。

    5. 关于3070/Q8的补充
    锁225W跑Q8的32B视觉模型,双卡分载各16G左右,推理速度大约在15-20t/s(看上下文长度),比MacBook快5-8倍是肯定有的。等电源问题解决后体验会好很多。

    1 条回复 最后回复
    0
    • A 离线
      A 离线
      applejuice
      编写于 最后由 applejuice 编辑
      #3

      我用的也是长城 1250w 但是客服说不懂什么型号
      也是接2张3090 功耗限制230w,240w

      但是没试过ollama
      llama 跟 vllm 都没问题

      1 条回复 最后回复
      0
      • AresROCA 离线
        AresROCA 离线
        AresROC
        编写于 最后由 编辑
        #4

        我试过双卡3090 850w 电源不够用的。加一个650w以上电源试试就知道了。现在用的是1200w

        1 条回复 最后回复
        0
        • Leon YL 离线
          Leon YL 离线
          Leon Y
          编写于 最后由 编辑
          #5

          我有个corsair RX1000x
          换过去试试

          1 条回复 最后回复
          0
          • never neveN 离线
            never neveN 离线
            never neve
            编写于 最后由 编辑
            #6

            建議樓主可以檢查下插座或電源插版試試,有些問題不一定來至電腦本身

            1 条回复 最后回复
            0
            • Leon YL 离线
              Leon YL 离线
              Leon Y
              编写于 最后由 编辑
              #7

              asked hermes to learn https://github.com/noonghunna/club-3090 and changed PSU to Corsair RM1000X
              it works now!!!

              1 条回复 最后回复
              1
              • Leon YL Leon Y

                最近血本买了个双3090 turbo的旧机器,噪声大到突破天际。拿回家装了ubuntu后上了ollama和vllm跑qwen3-lv-32b-q8。之所以要跑qwen3-vl视觉模型是因为要处理排版复杂的pdf。在macbook上跑极其慢。买来双3090以为能速度起飞,但是踩到了坑。

                配置先贴:

                CPU:i7-9700
                板:技嘉 Z370XP SLI(双卡 PCIe x8/x8)
                卡:2× 华硕 Turbo RTX 3090 24G(涡轮,无 NVLink)
                内存:64G DDR4
                电源:长城 GW-EPS1250DA 1250W Gold(6 路 12V,每路 20A)
                系统:Ubuntu 24.04
                Ollama:刚从 GitHub 拉下来编译的最新版
                机箱没盖侧板,台扇对着吹

                症状:

                Ollama 跑 qwen3-vl:32b 的 Q8 量化版(模型大概 32G,双卡各分 ~16G),模型开始往双卡加载的那一瞬间,整机直接断电重启。不是驱动崩、不是 kernel panic,就是啪一下黑了然后重启。

                如果 CUDA_VISIBLE_DEVICES=0 只用单卡跑别的模型,完全正常。单卡 225W 下核心 53°C 稳稳的。

                已经试过的:

                • 两张卡都锁了 225W 功耗墙(nvidia-smi -pl 225)
                • 外置风扇直吹开放机箱

                自己分析:

                大概率是电源瞬时 OCP。3090 瞬时尖峰臭名昭著,虽然锁了 225W 但毫秒级 spike 照样能冲到 400W+。两块卡在 Ollama 开始加载权重的同一瞬间一起拉满,这长城多路 12V 每路才 20A(上限 240W),某一路瞬间过流直接触发保护断电。显存过热基本排除——从常温冲到 110°C 怎么也要十几二十秒,不可能加载一瞬间就黑。

                求助:

                • 有没有用类似配置(双 3090 + 多路电源)的老哥遇到过?
                • 最后是换单路 12V 电源解决的,还是另有原因?
                • 如果换电源,1500W 单路有什么坑少型号推荐?
                J 离线
                J 离线
                johnnybegood
                编写于 最后由 编辑
                #8

                @Leon-Y 说:

                长城 GW-EPS1250DA 1250W Gold(6 路 12V,每路 20A)
                系统:Ubuntu 24.04

                需要 长城 1700w 白金 电源。 别问我是怎么知道的, 我也是双卡。。。。

                1 条回复 最后回复
                0
                • williamlouisW 离线
                  williamlouisW 离线
                  williamlouis
                  编写于 最后由 编辑
                  #9

                  试试振华这个牌子。抗瞬时峰值能力很强。或长城1700W吧。振华你可以先自我科普下。在研究。

                  个人主页:xlkj.org Telegram https://t.me/xlkjorg

                  5 1 条回复 最后回复
                  0
                  • williamlouisW williamlouis

                    试试振华这个牌子。抗瞬时峰值能力很强。或长城1700W吧。振华你可以先自我科普下。在研究。

                    5 在线
                    5 在线
                    566656661
                    编写于 最后由 编辑
                    #10

                    @williamlouis

                    其實atx 3.1基本上都有抗峰值硬要求, 上個正常點的atx 3.1就可以了

                    1 条回复 最后回复
                    0
                    • wwcd2016W 离线
                      wwcd2016W 离线
                      wwcd2016
                      编写于 最后由 编辑
                      #11

                      我用利民全日系的850w的具体型号TR-SP850,插了2个3090 也没有崩,不过我仅仅是测试了一下,长期跑也没有必要。
                      长期跑必须sp1000以上才靠谱。
                      电源是根,必须用好品牌,什么航嘉,长城绝对不行的。

                      5 1 条回复 最后回复
                      1
                      • wwcd2016W wwcd2016

                        我用利民全日系的850w的具体型号TR-SP850,插了2个3090 也没有崩,不过我仅仅是测试了一下,长期跑也没有必要。
                        长期跑必须sp1000以上才靠谱。
                        电源是根,必须用好品牌,什么航嘉,长城绝对不行的。

                        5 在线
                        5 在线
                        566656661
                        编写于 最后由 编辑
                        #12

                        @wwcd2016

                        沒錯

                        不過長城這個品牌很有意思, 他幫忙代工的品牌例如NZXT跟華碩的 高階電源 數值跟質量很不錯, cybernetic的評測很好, 但是長城自己出的或者代工的低階電源就很參差不齊, 很神經刀

                        CS6C 1 条回复 最后回复
                        0
                        • Leon YL 离线
                          Leon YL 离线
                          Leon Y
                          编写于 最后由 编辑
                          #13

                          Corsair RM1000X 虽然只有1000W,但是目前还是稳稳的,还是电源的瞬时OCP问题

                          Larry WangL 1 条回复 最后回复
                          0
                          • williamlouisW 离线
                            williamlouisW 离线
                            williamlouis
                            编写于 最后由 编辑
                            #14

                            电路设计单路功耗和整体功耗没有直接关系。电源的单路输出功耗是否符合设备要求。这是考虑要点。峰值是个电源的技术,不是所有电源都有。低端产品几乎是都没有的。高端只是看谁的技术更强。标准最重要的还是 实测。厂家的数据就作为参考即可,为了营销给的不准是常态了。实测这块多看看销售评价,论坛或问问其他用户是最好而且省钱的办法。我这直接大力出奇迹选个好的就收工了。

                            个人主页:xlkj.org Telegram https://t.me/xlkjorg

                            1 条回复 最后回复
                            0
                            • ye9okY 离线
                              ye9okY 离线
                              ye9ok
                              编写于 最后由 编辑
                              #15

                              https://zhuanlan.zhihu.com/p/681718570
                              功率峰值为 533W,你还得换ATX3

                              1 条回复 最后回复
                              0
                              • 5 566656661

                                @wwcd2016

                                沒錯

                                不過長城這個品牌很有意思, 他幫忙代工的品牌例如NZXT跟華碩的 高階電源 數值跟質量很不錯, cybernetic的評測很好, 但是長城自己出的或者代工的低階電源就很參差不齊, 很神經刀

                                CS6C 离线
                                CS6C 离线
                                CS6
                                编写于 最后由 编辑
                                #16

                                @566656661 NZXT C1500 路過,接口的做工不太好...(我之前是用台達跟全漢),隨附600W的線,有一條只能跑到300W目前正在返修換貨....
                                而且在台灣要使用 16A品字c19/c20 插头 真的挺麻煩的,家用瓦數也很容易超過1600瓦的上限

                                1 条回复 最后回复
                                1
                                • Leon YL Leon Y

                                  Corsair RM1000X 虽然只有1000W,但是目前还是稳稳的,还是电源的瞬时OCP问题

                                  Larry WangL 离线
                                  Larry WangL 离线
                                  Larry Wang
                                  编写于 最后由 编辑
                                  #17

                                  @Leon-Y 你用Corsair RM1000X给两张3090+主板供电吗?第二张卡用那个接口供电?

                                  Leon YL 1 条回复 最后回复
                                  0
                                  • Larry WangL Larry Wang

                                    @Leon-Y 你用Corsair RM1000X给两张3090+主板供电吗?第二张卡用那个接口供电?

                                    Leon YL 离线
                                    Leon YL 离线
                                    Leon Y
                                    编写于 最后由 编辑
                                    #18

                                    @Larry-Wang 说:

                                    @Leon-Y 你用Corsair RM1000X给两张3090+主板供电吗?第二张卡用那个接口供电?

                                    Corsair RM1000X有6个CPU/PCIe接口,两个3090只占了4个

                                    1 条回复 最后回复
                                    0
                                    • Leon YL 离线
                                      Leon YL 离线
                                      Leon Y
                                      编写于 最后由 编辑
                                      #19

                                      59fe9776-b82b-439a-8484-81f21360389a-image.jpeg

                                      1 条回复 最后回复
                                      0

                                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                                      有了你的建议,这篇帖子会更精彩哦 💗

                                      注册 登录
                                      回复
                                      • 在新帖中回复
                                      登录后回复
                                      • 从旧到新
                                      • 从新到旧
                                      • 最多赞同


                                      • 登录

                                      • 没有帐号? 注册

                                      • 登录或注册以进行搜索。
                                      • 第一个帖子
                                        最后一个帖子
                                      0
                                      • 版块
                                      • 最新
                                      • 标签
                                      • 热门
                                      • 用户
                                      • 群组