跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 求助!!!请大神帮帮忙,看下这套四卡服务配置是否合理,能否最大发挥出性能?请大神们多提建议,小弟非常感谢!

求助!!!请大神帮帮忙,看下这套四卡服务配置是否合理,能否最大发挥出性能?请大神们多提建议,小弟非常感谢!

已定时 已固定 已锁定 已移动 AI硬件
14 帖子 6 发布者 77 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Harvey ZhuH 离线
    Harvey ZhuH 离线
    Harvey Zhu
    编写于 最后由 编辑
    #1

    ad1a722e-6db6-4868-b31b-fe8c682a7183-image.jpeg

    1 条回复 最后回复
    1
    • Harvey ZhuH 离线
      Harvey ZhuH 离线
      Harvey Zhu
      编写于 最后由 编辑
      #2

      主要用途:1.是用来做本地大模型训练推理,2.是用来做本地音视频生成

      这个配置是否合理,确保生产力足够,性能是否可以发挥到最佳?

      1 条回复 最后回复
      0
      • kos orK 离线
        kos orK 离线
        kos or
        编写于 最后由 kos or 编辑
        #3

        我是多卡小白, 最近看了一個Youtuber 的推薦 訂了一套 Gigabyte MC62-G40 (6 x PCIe4.0 x 16 lines @ 32 GB/s each) + AMD Threadripper 3945WX (12C/24T, 280W) , CPU的選擇我後悔了 只考慮到推論需求 沒考慮到代理人運用場景, 看未來是否需要改用 AMD Threadripper 3955WX (16C/32T, 280W)

        Harvey ZhuH 1 条回复 最后回复
        0
        • terryT 离线
          terryT 离线
          terry
          编写于 最后由 编辑
          #4

          CPU超标,内存可以再大一点,但我也是64G,也够用了,高清视频有点紧张。你的这些晚照网口电源之类的,不知道有什么意义。功耗一定要限制在400w以内,否则卡长时间运转不好。

          油管:https://www.youtube.com/@抡锤者

          1 条回复 最后回复
          0
          • Tony WangT 在线
            Tony WangT 在线
            Tony Wang
            编写于 最后由 编辑
            #5

            他是 64*4 , 肯定够了. 硬盘小了, 不过估计它后面有SAN.

            挺豪华的, 不过加点儿钱, 换两张 Pro 6000 是不是更好, 有扩展空间, 性能还有保证, 毕竟 4090 48G 魔改, 我总觉得质量上会有隐患.

            已经这么贵了, 肯定要保护投资. 建议直接上 Pro 6000 X2.

            Harvey ZhuH 1 条回复 最后回复
            0
            • Tony WangT Tony Wang

              他是 64*4 , 肯定够了. 硬盘小了, 不过估计它后面有SAN.

              挺豪华的, 不过加点儿钱, 换两张 Pro 6000 是不是更好, 有扩展空间, 性能还有保证, 毕竟 4090 48G 魔改, 我总觉得质量上会有隐患.

              已经这么贵了, 肯定要保护投资. 建议直接上 Pro 6000 X2.

              Harvey ZhuH 离线
              Harvey ZhuH 离线
              Harvey Zhu
              编写于 最后由 编辑
              #6

              @Tony-Wang 感谢老哥的建议,其他部分配置适配度以及性价比方面您看还有优化空间吗?

              Tony WangT 3 条回复 最后回复
              0
              • Harvey ZhuH Harvey Zhu

                @Tony-Wang 感谢老哥的建议,其他部分配置适配度以及性价比方面您看还有优化空间吗?

                Tony WangT 在线
                Tony WangT 在线
                Tony Wang
                编写于 最后由 编辑
                #7

                @Harvey-Zhu

                没有了, 我也很久没碰过硬件了. 只是从投资保护的角度提出的.

                另外, 你25G网卡 是为了连接 IP SAN吗? 还是要组集群?

                我感觉你 1-2 个25G就够了, 连接你的 SAN. 4口有点儿浪费, 好像没有什么其他用途.

                1 条回复 最后回复
                0
                • Harvey ZhuH Harvey Zhu

                  @Tony-Wang 感谢老哥的建议,其他部分配置适配度以及性价比方面您看还有优化空间吗?

                  Tony WangT 在线
                  Tony WangT 在线
                  Tony Wang
                  编写于 最后由 编辑
                  #8

                  @Harvey-Zhu

                  另外, 我查了一下你的CPU和主板, 是支持8条独立的内存通道, 所以应该插满8条. 比如32GX8, 这样才能满血利用内存带宽.

                  1 条回复 最后回复
                  0
                  • Harvey ZhuH Harvey Zhu

                    @Tony-Wang 感谢老哥的建议,其他部分配置适配度以及性价比方面您看还有优化空间吗?

                    Tony WangT 在线
                    Tony WangT 在线
                    Tony Wang
                    编写于 最后由 Tony Wang 编辑
                    #9

                    @Harvey-Zhu

                    另外, 我看了一下这张 超微 H12SSL 的布局, 它确实有5个 pcie 4.0X16的槽位, 但1,2,3 槽位紧挨着, 意味着2槽不能用.

                    那你的25G 4口网卡插哪里? 它需要一个满 4.0X16的槽位, 只能用转接线吊装了.

                    而且, 4张涡轮卡紧挨着, 你的机箱风冷要确认一下, 是否足够强.

                    H12SSL-i_spec.jpg

                    Harvey ZhuH 1 条回复 最后回复
                    1
                    • Tony WangT Tony Wang

                      @Harvey-Zhu

                      另外, 我看了一下这张 超微 H12SSL 的布局, 它确实有5个 pcie 4.0X16的槽位, 但1,2,3 槽位紧挨着, 意味着2槽不能用.

                      那你的25G 4口网卡插哪里? 它需要一个满 4.0X16的槽位, 只能用转接线吊装了.

                      而且, 4张涡轮卡紧挨着, 你的机箱风冷要确认一下, 是否足够强.

                      H12SSL-i_spec.jpg

                      Harvey ZhuH 离线
                      Harvey ZhuH 离线
                      Harvey Zhu
                      编写于 最后由 编辑
                      #10

                      @Tony-Wang 好的了解,多谢您的指导,万分感谢!!

                      1 条回复 最后回复
                      0
                      • kos orK kos or

                        我是多卡小白, 最近看了一個Youtuber 的推薦 訂了一套 Gigabyte MC62-G40 (6 x PCIe4.0 x 16 lines @ 32 GB/s each) + AMD Threadripper 3945WX (12C/24T, 280W) , CPU的選擇我後悔了 只考慮到推論需求 沒考慮到代理人運用場景, 看未來是否需要改用 AMD Threadripper 3955WX (16C/32T, 280W)

                        Harvey ZhuH 离线
                        Harvey ZhuH 离线
                        Harvey Zhu
                        编写于 最后由 编辑
                        #11

                        @kos-or 好的,非常感谢!

                        1 条回复 最后回复
                        0
                        • CS6C 在线
                          CS6C 在线
                          CS6
                          编写于 最后由 编辑
                          #12

                          你有錢還是直上 PRO 6000吧?也比較保值
                          AI推理跟服務端場景不一樣,你都是本地需求感覺沒必要?
                          我可能會選二手服務器(只要有 pcie 4.0 8/16 *4 以上就可以了,CPU + MB 都是為了服務於GPU

                          1 条回复 最后回复
                          0
                          • sirwangS 离线
                            sirwangS 离线
                            sirwang
                            编写于 最后由 编辑
                            #13

                            如果只是你自己用,不是多人用,那内存加到128,6个人以内,加到256G。 显卡换 RTXPRO6000。

                            1 条回复 最后回复
                            0
                            • CS6C 在线
                              CS6C 在线
                              CS6
                              编写于 最后由 编辑
                              #14

                              3000w 的電源也需要機房能支援吧? 如果放家裡不太安全,建議找個電工來看看

                              1 条回复 最后回复
                              1

                              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                              厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                              有了你的建议,这篇帖子会更精彩哦 💗

                              注册 登录
                              回复
                              • 在新帖中回复
                              登录后回复
                              • 从旧到新
                              • 从新到旧
                              • 最多赞同


                              • 登录

                              • 没有帐号? 注册

                              • 登录或注册以进行搜索。
                              • 第一个帖子
                                最后一个帖子
                              0
                              • 版块
                              • 最新
                              • 标签
                              • 热门
                              • 用户
                              • 群组