跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 求助!!!请大神帮帮忙,看下这套四卡服务配置是否合理,能否最大发挥出性能?请大神们多提建议,小弟非常感谢!

求助!!!请大神帮帮忙,看下这套四卡服务配置是否合理,能否最大发挥出性能?请大神们多提建议,小弟非常感谢!

已定时 已固定 已锁定 已移动 AI硬件
14 帖子 6 发布者 77 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Harvey ZhuH 离线
    Harvey ZhuH 离线
    Harvey Zhu
    编写于 最后由 编辑
    #2

    主要用途:1.是用来做本地大模型训练推理,2.是用来做本地音视频生成

    这个配置是否合理,确保生产力足够,性能是否可以发挥到最佳?

    1 条回复 最后回复
    0
    • kos orK 离线
      kos orK 离线
      kos or
      编写于 最后由 kos or 编辑
      #3

      我是多卡小白, 最近看了一個Youtuber 的推薦 訂了一套 Gigabyte MC62-G40 (6 x PCIe4.0 x 16 lines @ 32 GB/s each) + AMD Threadripper 3945WX (12C/24T, 280W) , CPU的選擇我後悔了 只考慮到推論需求 沒考慮到代理人運用場景, 看未來是否需要改用 AMD Threadripper 3955WX (16C/32T, 280W)

      Harvey ZhuH 1 条回复 最后回复
      0
      • terryT 离线
        terryT 离线
        terry
        编写于 最后由 编辑
        #4

        CPU超标,内存可以再大一点,但我也是64G,也够用了,高清视频有点紧张。你的这些晚照网口电源之类的,不知道有什么意义。功耗一定要限制在400w以内,否则卡长时间运转不好。

        油管:https://www.youtube.com/@抡锤者

        1 条回复 最后回复
        0
        • Tony WangT 在线
          Tony WangT 在线
          Tony Wang
          编写于 最后由 编辑
          #5

          他是 64*4 , 肯定够了. 硬盘小了, 不过估计它后面有SAN.

          挺豪华的, 不过加点儿钱, 换两张 Pro 6000 是不是更好, 有扩展空间, 性能还有保证, 毕竟 4090 48G 魔改, 我总觉得质量上会有隐患.

          已经这么贵了, 肯定要保护投资. 建议直接上 Pro 6000 X2.

          Harvey ZhuH 1 条回复 最后回复
          0
          • Tony WangT Tony Wang

            他是 64*4 , 肯定够了. 硬盘小了, 不过估计它后面有SAN.

            挺豪华的, 不过加点儿钱, 换两张 Pro 6000 是不是更好, 有扩展空间, 性能还有保证, 毕竟 4090 48G 魔改, 我总觉得质量上会有隐患.

            已经这么贵了, 肯定要保护投资. 建议直接上 Pro 6000 X2.

            Harvey ZhuH 离线
            Harvey ZhuH 离线
            Harvey Zhu
            编写于 最后由 编辑
            #6

            @Tony-Wang 感谢老哥的建议,其他部分配置适配度以及性价比方面您看还有优化空间吗?

            Tony WangT 3 条回复 最后回复
            0
            • Harvey ZhuH Harvey Zhu

              @Tony-Wang 感谢老哥的建议,其他部分配置适配度以及性价比方面您看还有优化空间吗?

              Tony WangT 在线
              Tony WangT 在线
              Tony Wang
              编写于 最后由 编辑
              #7

              @Harvey-Zhu

              没有了, 我也很久没碰过硬件了. 只是从投资保护的角度提出的.

              另外, 你25G网卡 是为了连接 IP SAN吗? 还是要组集群?

              我感觉你 1-2 个25G就够了, 连接你的 SAN. 4口有点儿浪费, 好像没有什么其他用途.

              1 条回复 最后回复
              0
              • Harvey ZhuH Harvey Zhu

                @Tony-Wang 感谢老哥的建议,其他部分配置适配度以及性价比方面您看还有优化空间吗?

                Tony WangT 在线
                Tony WangT 在线
                Tony Wang
                编写于 最后由 编辑
                #8

                @Harvey-Zhu

                另外, 我查了一下你的CPU和主板, 是支持8条独立的内存通道, 所以应该插满8条. 比如32GX8, 这样才能满血利用内存带宽.

                1 条回复 最后回复
                0
                • Harvey ZhuH Harvey Zhu

                  @Tony-Wang 感谢老哥的建议,其他部分配置适配度以及性价比方面您看还有优化空间吗?

                  Tony WangT 在线
                  Tony WangT 在线
                  Tony Wang
                  编写于 最后由 Tony Wang 编辑
                  #9

                  @Harvey-Zhu

                  另外, 我看了一下这张 超微 H12SSL 的布局, 它确实有5个 pcie 4.0X16的槽位, 但1,2,3 槽位紧挨着, 意味着2槽不能用.

                  那你的25G 4口网卡插哪里? 它需要一个满 4.0X16的槽位, 只能用转接线吊装了.

                  而且, 4张涡轮卡紧挨着, 你的机箱风冷要确认一下, 是否足够强.

                  H12SSL-i_spec.jpg

                  Harvey ZhuH 1 条回复 最后回复
                  1
                  • Tony WangT Tony Wang

                    @Harvey-Zhu

                    另外, 我看了一下这张 超微 H12SSL 的布局, 它确实有5个 pcie 4.0X16的槽位, 但1,2,3 槽位紧挨着, 意味着2槽不能用.

                    那你的25G 4口网卡插哪里? 它需要一个满 4.0X16的槽位, 只能用转接线吊装了.

                    而且, 4张涡轮卡紧挨着, 你的机箱风冷要确认一下, 是否足够强.

                    H12SSL-i_spec.jpg

                    Harvey ZhuH 离线
                    Harvey ZhuH 离线
                    Harvey Zhu
                    编写于 最后由 编辑
                    #10

                    @Tony-Wang 好的了解,多谢您的指导,万分感谢!!

                    1 条回复 最后回复
                    0
                    • kos orK kos or

                      我是多卡小白, 最近看了一個Youtuber 的推薦 訂了一套 Gigabyte MC62-G40 (6 x PCIe4.0 x 16 lines @ 32 GB/s each) + AMD Threadripper 3945WX (12C/24T, 280W) , CPU的選擇我後悔了 只考慮到推論需求 沒考慮到代理人運用場景, 看未來是否需要改用 AMD Threadripper 3955WX (16C/32T, 280W)

                      Harvey ZhuH 离线
                      Harvey ZhuH 离线
                      Harvey Zhu
                      编写于 最后由 编辑
                      #11

                      @kos-or 好的,非常感谢!

                      1 条回复 最后回复
                      0
                      • CS6C 在线
                        CS6C 在线
                        CS6
                        编写于 最后由 编辑
                        #12

                        你有錢還是直上 PRO 6000吧?也比較保值
                        AI推理跟服務端場景不一樣,你都是本地需求感覺沒必要?
                        我可能會選二手服務器(只要有 pcie 4.0 8/16 *4 以上就可以了,CPU + MB 都是為了服務於GPU

                        1 条回复 最后回复
                        0
                        • sirwangS 在线
                          sirwangS 在线
                          sirwang
                          编写于 最后由 编辑
                          #13

                          如果只是你自己用,不是多人用,那内存加到128,6个人以内,加到256G。 显卡换 RTXPRO6000。

                          1 条回复 最后回复
                          0
                          • CS6C 在线
                            CS6C 在线
                            CS6
                            编写于 最后由 编辑
                            #14

                            3000w 的電源也需要機房能支援吧? 如果放家裡不太安全,建議找個電工來看看

                            1 条回复 最后回复
                            1

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 没有帐号? 注册

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组