跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. # X99 洋垃圾 + 双 R9700 翻车实录:单卡 39 t/s 稳跑 27B,双卡一满载就断电,1300W 电源也救不了

# X99 洋垃圾 + 双 R9700 翻车实录:单卡 39 t/s 稳跑 27B,双卡一满载就断电,1300W 电源也救不了

已定时 已固定 已锁定 已移动 AI硬件
x99r9700多卡部署
44 帖子 15 发布者 528 浏览 2 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • L laobenxiong

    @张光璞 有没有试过把驱动的电源管理关掉? 就是别让它进入低功耗模式.

    $ cat /etc/modprobe.d/amdgpu-runpm.conf
    options amdgpu runpm=0
    
    XiaoteX 在线
    XiaoteX 在线
    Xiaote
    劳动模范
    编写于 最后由 编辑
    #18

    runpm=0 治的是待机/电源状态切换引起的挂起,和这个不是一类。OP 已经测过:单卡稳、双卡一上负载就断,限到 250W 也照断——限的是持续功耗,挡不住不到 100µs 的瞬态尖峰,所以还是指向 PSU 的 OCP/多路 12V 过流,不是 runtime PM。

    要试就试把两张卡分到不同 12V 支路(或双电源)、每卡独立 PCIe 线;runpm=0 可以当待机稳定性的排除项,但基本解不了双卡断电。

    老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

    1 条回复 最后回复
    0
    • terryT terry

      换个电源,我4090和XTX同时工作,1200W都没问题。就是瞬时功率超标,你软件能统计出来的颗粒度远不够。还有你这图怎么就一张显卡?

      张光璞张 在线
      张光璞张 在线
      张光璞
      劳动模范 德高望重
      编写于 最后由 编辑
      #19

      @terry 说:

      换个电源,我4090和XTX同时工作,1200W都没问题。就是瞬时功率超标,你软件能统计出来的颗粒度远不够。还有你这图怎么就一张显卡?

      双卡就一直出问题,没功夫拍照

      1 条回复 最后回复
      0
      • nami ryuuN nami ryuu

        @张光璞 我是长城1600w电源两张r9700,双卡满功率没问题。

        张光璞张 在线
        张光璞张 在线
        张光璞
        劳动模范 德高望重
        编写于 最后由 编辑
        #20

        @nami-ryuu 说:

        @张光璞 我是长城1600w电源两张r9700,双卡满功率没问题。

        我这个服务器没有安装普通 atx 电源的地方

        1 条回复 最后回复
        0
        • L laobenxiong

          @张光璞 有没有试过把驱动的电源管理关掉? 就是别让它进入低功耗模式.

          $ cat /etc/modprobe.d/amdgpu-runpm.conf
          options amdgpu runpm=0
          
          张光璞张 在线
          张光璞张 在线
          张光璞
          劳动模范 德高望重
          编写于 最后由 编辑
          #21

          @laobenxiong 说:

          @张光璞 有没有试过把驱动的电源管理关掉? 就是别让它进入低功耗模式.

          $ cat /etc/modprobe.d/amdgpu-runpm.conf
          options amdgpu runpm=0
          

          我一会试试,这玩意有没有大功率电机变频器的软启动哦。

          1 条回复 最后回复
          0
          • 孤帆孤 孤帆

            建议你试一试双电源启动,每一个电源带一张显卡,网上有双电源同步启动器卖的,也许能解决。

            张光璞张 在线
            张光璞张 在线
            张光璞
            劳动模范 德高望重
            编写于 最后由 编辑
            #22

            @孤帆 说:

            建议你试一试双电源启动,每一个电源带一张显卡,网上有双电源同步启动器卖的,也许能解决。

            现在我准备换个2000w 的电源 ,但能不能直插还没研究好

            L 2 条回复 最后回复
            0
            • 张光璞张 张光璞

              @孤帆 说:

              建议你试一试双电源启动,每一个电源带一张显卡,网上有双电源同步启动器卖的,也许能解决。

              现在我准备换个2000w 的电源 ,但能不能直插还没研究好

              L 在线
              L 在线
              laobenxiong
              德高望重 劳动模范
              编写于 最后由 laobenxiong 编辑
              #23

              @张光璞 我为了电源功率的问题调查过一圈, hp z8g4的内置电源好像可以(230v下可以到1700w). 无奈奸商卖z8g4要加太高, 加上这机器太沉, 最后放弃了. 现在研究的是双 egpu 路线. 主机 m920x 加一个 pcie switch 卡. 打算的是1200瓦的蓝宝石电源带两个7900xtx, 不知道会怎么样.
              e1cdc4a5-94ec-4acc-b9b1-e0dbab501842-image.jpeg

              张光璞张 terryT 3 条回复 最后回复
              0
              • 张光璞张 张光璞

                @孤帆 说:

                建议你试一试双电源启动,每一个电源带一张显卡,网上有双电源同步启动器卖的,也许能解决。

                现在我准备换个2000w 的电源 ,但能不能直插还没研究好

                L 在线
                L 在线
                laobenxiong
                德高望重 劳动模范
                编写于 最后由 laobenxiong 编辑
                #24

                @张光璞 最好让 AI 帮忙查一下. 再加一个电源的话, pcie slot 75w供电 和 8pin 供电不是同一个地(GND), 这个问题要先研究清楚再实验.

                张光璞张 1 条回复 最后回复
                0
                • L laobenxiong

                  @张光璞 最好让 AI 帮忙查一下. 再加一个电源的话, pcie slot 75w供电 和 8pin 供电不是同一个地(GND), 这个问题要先研究清楚再实验.

                  张光璞张 在线
                  张光璞张 在线
                  张光璞
                  劳动模范 德高望重
                  编写于 最后由 编辑
                  #25

                  @laobenxiong 说:

                  @张光璞 最好让 AI 帮忙查一下. pcie slot 75w供电 和 8pin 供电不是同一个地(GND), 这个问题要先研究清楚再实验.

                  我昨天反复试了几次,大概率是锁定在供电不足上。

                  单卡也不能从两个6pin 上分出来3个8pin。 要从cpu供电那里再接过来一个6转8 。 单卡才能启来。

                  我现在只能研究额外供电了。

                  1 条回复 最后回复
                  0
                  • L laobenxiong

                    @张光璞 我为了电源功率的问题调查过一圈, hp z8g4的内置电源好像可以(230v下可以到1700w). 无奈奸商卖z8g4要加太高, 加上这机器太沉, 最后放弃了. 现在研究的是双 egpu 路线. 主机 m920x 加一个 pcie switch 卡. 打算的是1200瓦的蓝宝石电源带两个7900xtx, 不知道会怎么样.
                    e1cdc4a5-94ec-4acc-b9b1-e0dbab501842-image.jpeg

                    张光璞张 在线
                    张光璞张 在线
                    张光璞
                    劳动模范 德高望重
                    编写于 最后由 编辑
                    #26

                    @laobenxiong 说:

                    @张光璞 我为了电源功率的问题调查过一圈, hp z8g4的内置电源好像可以(230v下可以到1700w). 无奈奸商卖z8g4要加太高, 加上这机器太沉, 最后放弃了. 现在研究的是双 egpu 路线. 主机 m920x 加一个 pcie switch 卡. 打算的是1200瓦的蓝宝石电源带两个7900xtx, 不知道会怎么样.

                    e1cdc4a5-94ec-4acc-b9b1-e0dbab501842-image.jpeg

                    如果你用pcie_switch 是不是天生赠送了P2P 。

                    L 1 条回复 最后回复
                    0
                    • 张光璞张 张光璞

                      @laobenxiong 说:

                      @张光璞 我为了电源功率的问题调查过一圈, hp z8g4的内置电源好像可以(230v下可以到1700w). 无奈奸商卖z8g4要加太高, 加上这机器太沉, 最后放弃了. 现在研究的是双 egpu 路线. 主机 m920x 加一个 pcie switch 卡. 打算的是1200瓦的蓝宝石电源带两个7900xtx, 不知道会怎么样.

                      e1cdc4a5-94ec-4acc-b9b1-e0dbab501842-image.jpeg

                      如果你用pcie_switch 是不是天生赠送了P2P 。

                      L 在线
                      L 在线
                      laobenxiong
                      德高望重 劳动模范
                      编写于 最后由 编辑
                      #27

                      @张光璞 嗯, AI说 是的, 把switch上的 ACS关掉, 再开几个内核(我用的7.1.8)的开关. 不过现在还没有到可以试验的地步, 8654转pcie底板还缺一个. 目前只能跑单卡/benchmark试试稳定性.

                      张光璞张 1 条回复 最后回复
                      0
                      • L laobenxiong

                        @张光璞 嗯, AI说 是的, 把switch上的 ACS关掉, 再开几个内核(我用的7.1.8)的开关. 不过现在还没有到可以试验的地步, 8654转pcie底板还缺一个. 目前只能跑单卡/benchmark试试稳定性.

                        张光璞张 在线
                        张光璞张 在线
                        张光璞
                        劳动模范 德高望重
                        编写于 最后由 编辑
                        #28

                        @laobenxiong 说:

                        @张光璞 嗯, AI说 是的, 把switch上的 ACS关掉, 再开几个内核(我用的7.1.8)的开关. 不过现在还没有到可以试验的地步, 8654转pcie底板还缺一个. 目前只能跑单卡/benchmark试试稳定性.

                        现在双卡tp 软件方面算是成熟了。

                        还是得双卡,单卡跑稠密还是慢。 主要是大肥鱼的在线api 属实太快了。吃惯了细糠

                        1 条回复 最后回复
                        0
                        • Kang BenyuanK 离线
                          Kang BenyuanK 离线
                          Kang Benyuan
                          编写于 最后由 Kang Benyuan 编辑
                          #29
                          此主題已被删除!
                          1 条回复 最后回复
                          0
                          • GeekyangG 离线
                            GeekyangG 离线
                            Geekyang
                            编写于 最后由 Geekyang 编辑
                            #30

                            我认为:Dell Precision T7910(双路 Xeon E5-2683 v4 / 128G DDR4 ECC / 1300W 电源) 这个方案本身有点问题,如过换成单路E2666v3, 功耗能让出不少 E5-2683 v4 本来就非常费电。双路最好还是用双电源。

                            张光璞张 1 条回复 最后回复
                            0
                            • GeekyangG Geekyang

                              我认为:Dell Precision T7910(双路 Xeon E5-2683 v4 / 128G DDR4 ECC / 1300W 电源) 这个方案本身有点问题,如过换成单路E2666v3, 功耗能让出不少 E5-2683 v4 本来就非常费电。双路最好还是用双电源。

                              张光璞张 在线
                              张光璞张 在线
                              张光璞
                              劳动模范 德高望重
                              编写于 最后由 编辑
                              #31

                              @Geekyang 说:

                              DR4 ECC / 1300W 电源) 这个方案本身有点问题,如过换成单路E2666v3, 功耗能让出不少 E5-2683 v4 本来就非常费电。双路最好还是用双电源。

                              双cpu 当初是为了更多的内存通道 ,现在看其实没啥用。

                              GeekyangG 1 条回复 最后回复
                              0
                              • 张光璞张 张光璞

                                @Geekyang 说:

                                DR4 ECC / 1300W 电源) 这个方案本身有点问题,如过换成单路E2666v3, 功耗能让出不少 E5-2683 v4 本来就非常费电。双路最好还是用双电源。

                                双cpu 当初是为了更多的内存通道 ,现在看其实没啥用。

                                GeekyangG 离线
                                GeekyangG 离线
                                Geekyang
                                编写于 最后由 Geekyang 编辑
                                #32

                                @张光璞 而且双CPU最大的bug 是双卡TP时候的延迟,因为CPU通信也要消耗带宽QPI。当时Intel 设计的时候根本不会考虑双卡TP问题。单路E5 v3/v4 都40个PCIE lane 都是支持双PCIE3.0x16 的,根本不需要双CPU。一起换电源不如换方案,还便宜可靠。

                                张光璞张 1 条回复 最后回复
                                0
                                • GeekyangG 离线
                                  GeekyangG 离线
                                  Geekyang
                                  编写于 最后由 编辑
                                  #33

                                  @张光璞 我倒是想了解R9700 噪音怎么样?毕竟放在家里。在考虑是双卡7900xtx,还是单卡w7800 48GB

                                  张光璞张 1 条回复 最后回复
                                  0
                                  • GeekyangG Geekyang

                                    @张光璞 我倒是想了解R9700 噪音怎么样?毕竟放在家里。在考虑是双卡7900xtx,还是单卡w7800 48GB

                                    张光璞张 在线
                                    张光璞张 在线
                                    张光璞
                                    劳动模范 德高望重
                                    编写于 最后由 编辑
                                    #34

                                    @Geekyang 说:

                                    @张光璞 我倒是想了解R9700 噪音怎么样?毕竟放在家里。在考虑是双卡7900xtx,还是单卡w7800 48GB

                                    塔式的算好的了。比不了机架的直接起飞。 这台机更像是图形工作站,不是纯血服务器设计。

                                    更多的噪声来自我的R9700 暖风机。

                                    1 条回复 最后回复
                                    0
                                    • GeekyangG Geekyang

                                      @张光璞 而且双CPU最大的bug 是双卡TP时候的延迟,因为CPU通信也要消耗带宽QPI。当时Intel 设计的时候根本不会考虑双卡TP问题。单路E5 v3/v4 都40个PCIE lane 都是支持双PCIE3.0x16 的,根本不需要双CPU。一起换电源不如换方案,还便宜可靠。

                                      张光璞张 在线
                                      张光璞张 在线
                                      张光璞
                                      劳动模范 德高望重
                                      编写于 最后由 编辑
                                      #35

                                      @Geekyang 说:

                                      @张光璞 而且双CPU最大的bug 是双卡TP时候的延迟,因为CPU通信也要消耗带宽QPI。当时Intel 设计的时候根本不会考虑双卡TP问题。单路E5 v3/v4 都40个PCIE lane 都是支持双PCIE3.0x16 的,根本不需要双CPU。一起换电源不如换方案,还便宜可靠。

                                      一会查一下能不能拆下来一颗cpu,单U来跑。 x99 是老特推荐,我主要是不想DIY 装机,装出来的机器整体性不够 。

                                      1 条回复 最后回复
                                      0
                                      • L laobenxiong

                                        @张光璞 我为了电源功率的问题调查过一圈, hp z8g4的内置电源好像可以(230v下可以到1700w). 无奈奸商卖z8g4要加太高, 加上这机器太沉, 最后放弃了. 现在研究的是双 egpu 路线. 主机 m920x 加一个 pcie switch 卡. 打算的是1200瓦的蓝宝石电源带两个7900xtx, 不知道会怎么样.
                                        e1cdc4a5-94ec-4acc-b9b1-e0dbab501842-image.jpeg

                                        张光璞张 在线
                                        张光璞张 在线
                                        张光璞
                                        劳动模范 德高望重
                                        编写于 最后由 编辑
                                        #36

                                        @laobenxiong 说:

                                        @张光璞 我为了电源功率的问题调查过一圈, hp z8g4的内置电源好像可以(230v下可以到1700w). 无奈奸商卖z8g4要加太高, 加上这机器太沉, 最后放弃了. 现在研究的是双 egpu 路线. 主机 m920x 加一个 pcie switch 卡. 打算的是1200瓦的蓝宝石电源带两个7900xtx, 不知道会怎么样.

                                        e1cdc4a5-94ec-4acc-b9b1-e0dbab501842-image.jpeg

                                        你这个吕布骑狗方案属实离谱。

                                        L 张光璞张 2 条回复 最后回复
                                        0
                                        • S 离线
                                          S 离线
                                          stormaround
                                          编写于 最后由 编辑
                                          #37

                                          我用华南x99 + 2xr9700 用1000w电源都没问题,最近换了个1200w,准备再把7900xtx插上去

                                          张光璞张 1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组