跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. 装备秀
  5. 4× RTX PRO 6000 Blackwell Max Q

4× RTX PRO 6000 Blackwell Max Q

已定时 已固定 已锁定 已移动 精华 热议 装备秀
rtxpro6000多卡部署
48 帖子 22 发布者 758 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Chu Hao-LungC
    Chu Hao-LungC
    Chu Hao-Lung
    德高望重
    编写于 最后由 编辑
    #1

    最近終於把這台四卡 AI 工作站弄得差不多。

    一開始其實只是想組一台可以舒服跑 ComfyUI 跟本地 LLM 的機器,後來一路升級,最後乾脆直接上 WRX90 + Threadripper PRO,目標就是四張 RTX PRO 6000 Blackwell。中間踩了不少坑,弄了一台外星人,發現他並不適合upgrade 成多GPU的電腦,RAM的上限也有限。

    目前配置大概是這樣:

    配件 型號
    CPU AMD Ryzen Threadripper PRO 9975WX
    主板 ASUS Pro WS WRX90E-SAGE SE
    RAM 256GB DDR5 ECC RDIMM
    GPU 4× NVIDIA RTX PRO 6000 Blackwell Max-Q 96GB
    總顯存 384GB
    SSD 3× Samsung 990 PRO 4TB
    PSU Thermaltake Toughpower i1650W ATX 3.1
    機箱 Cooler Master HAF 700 EVO
    系統 Windows + Ubuntu Dual Boot

    IMG_0897.png

    IMG_0899.png

     顯卡
    

    這台的核心就是:

    4× RTX PRO 6000 Blackwell Max-Q 96GB

    所以總 VRAM 是:

    96GB × 4 = 384GB

    主要目的就是跑大模型跟 AI 影片,不是拿來打遊戲。

    目前家裡還是 120V,所以我暫時不打算讓四張卡全部跑滿。

    現在比較傾向把每張 GPU cap 在大約:

    250W
    

    四張就是大約 1000W。

    這樣至少在家用供電環境下比較好控制,不然四卡全開再加 CPU,整台機器功耗其實滿可怕的。未來可能會專門拉一條240V的線。
    老婆OS: 房間的燈怎麼在閃...

    主要拿來跑什麼
    

    目前主要是:

    • SGLang
    • llama.cpp
    • DeepSeek
    • Qwen
    • GLM
    • ComfyUI
    • MiniMax Video
    • LoRA
    • RAG / Agent

    看看幾個大型模型在四張 RTX PRO 6000 上面的實際速度。

    比較有興趣測:

    • DeepSeek V4.1 Flash
    • Qwen 大模型
    • GLM
    • 一些 100B+ 或 MoE 模型

    384GB VRAM 最大的好處就是很多模型可以直接放 GPU,不需要一直 offload 到 system RAM。
    模型越裝越多之後才發現,12TB 好像也沒有想像中那麼多。

    為什麼最後上 WRX90
    

    一開始其實也有考慮一般消費級平台。

    但真的開始考慮四張 GPU 之後,最大的問題就變成:

    • PCIe lanes
    • 插槽距離
    • GPU 空間
    • 供電
    • RAM 容量
    • SSD 擴充

    所以最後乾脆直接上:

    ASUS Pro WS WRX90E-SAGE SE

    搭配 Threadripper PRO。

    這平台最大的優點就是很明確:

    就是拿來塞一堆 PCIe 裝置的。

    不過四張卡真的塞進去之後,主板下面的線會變得非常痛苦。

    尤其是:

    • FAN header
    • Front panel
    • USB header
    • 底部線材

    第四張卡一裝下去,基本上都被壓在下面。可能等thermal pad到了 再優化一下。

    SSD 分配
    

    目前是三顆 4TB Samsung 990 PRO。

    大概分成:

    SSD 1
    Windows
    
    SSD 2
    Ubuntu
    
    SSD 3
    ComfyUI / Models / AI Data
    

    Windows 主要還是跑日常工具跟 ComfyUI。

    Ubuntu 則是拿來搞:

    • CUDA
    • SGLang
    • vLLM
    • Multi-GPU inference
    最大的問題
    

    目前覺得這種四卡機最大的問題不是算力。

    反而是:

    1. 供電
    2. 散熱
    3. PCIe 空間
    4. 線材

    我已經把機殼基本上能裝的風扇全塞滿了,溫度還是不是很理想,特別是跑deep seek v4.1 flash的時候,這個之後還想再研究一下。
    之後如果有空,再做一些更進一步的測試,最近北加真的太熱了...

    johnnybegoodJ 1 条回复 最后回复
    8
    • Y L 0Y
      Y L 0Y
      Y L 0
      编写于 最后由 编辑
      #2

      我看见了满屏的氪金

      1 条回复 最后回复
      0
      • Y L 0Y
        Y L 0Y
        Y L 0
        编写于 最后由 编辑
        #3

        不过1650W推的动四个卡么 9975wx得有300w多吧

        Chu Hao-LungC 1 条回复 最后回复
        1
        • Y L 0Y Y L 0

          不过1650W推的动四个卡么 9975wx得有300w多吧

          Chu Hao-LungC
          Chu Hao-LungC
          Chu Hao-Lung
          德高望重
          编写于 最后由 编辑
          #4

          @Y-L-0

          250*4+350=1,350 估計未來有需要要upgrade 大點的PSU

          1 条回复 最后回复
          0
          • Tony WangT
            Tony WangT
            Tony Wang
            超级版主
            编写于 最后由 编辑
            #5

            豪横!羡慕嫉妒恨. 👍

            Chu Hao-LungC 1 条回复 最后回复
            1
            • blackcat1402B
              blackcat1402B
              blackcat1402
              编写于 最后由 编辑
              #6

              这才是homelab顶配哈,佩服

              1 条回复 最后回复
              1
              • A
                A
                applejuice
                技术大牛 劳动模范
                编写于 最后由 编辑
                #7

                这根本就是工作室了

                1 条回复 最后回复
                1
                • kos orK
                  kos orK
                  kos or
                  超凡大师
                  编写于 最后由 编辑
                  #8

                  把雲端等級服務遷移到地端了
                  這種機器 一般的工作量大概餵不飽
                  普通專案 可能會秒完成

                  Chu Hao-LungC 1 条回复 最后回复
                  1
                  • Bruce WayneB
                    Bruce WayneB
                    Bruce Wayne
                    德高望重
                    编写于 最后由 编辑
                    #9

                    车库没有240V?

                    Chu Hao-LungC 1 条回复 最后回复
                    1
                    • Bruce WayneB Bruce Wayne

                      车库没有240V?

                      Chu Hao-LungC
                      Chu Hao-LungC
                      Chu Hao-Lung
                      德高望重
                      编写于 最后由 Chu Hao-Lung 编辑
                      #10

                      @Bruce-Wayne
                      有 但是有幾個考量:

                      1. 車庫可能空氣循環不是很好 可能在溫度控制上 會比房間差一點
                      2. 我也確實想過我是不是應該remote log in the system可是這樣好像又失去直接用電腦的爽感
                      3. 電腦真的太重了...我扛上三樓 要了我老命 先緩緩..
                      1 条回复 最后回复
                      0
                      • Tony WangT Tony Wang

                        豪横!羡慕嫉妒恨. 👍

                        Chu Hao-LungC
                        Chu Hao-LungC
                        Chu Hao-Lung
                        德高望重
                        编写于 最后由 Chu Hao-Lung 编辑
                        #11

                        @Tony-Wang

                        眼睛一黑, 就不小心從 5090 > 6000 >2 x 6000 >4 x 6000 太可怕了...

                        1 条回复 最后回复
                        0
                        • kos orK kos or

                          把雲端等級服務遷移到地端了
                          這種機器 一般的工作量大概餵不飽
                          普通專案 可能會秒完成

                          Chu Hao-LungC
                          Chu Hao-LungC
                          Chu Hao-Lung
                          德高望重
                          编写于 最后由 编辑
                          #12

                          @kos-or

                          我其實是一個工程師有當一個導演的夢...
                          我想要build up 一個全自動化的電影生成器
                          基本的流程又是 寫一個故事 之後搭建自動化的翻譯工作流>多卡生成影片>自動判定影片審美 (這邊可能需要我的trainning) 去給score 然後再讓machine learning>
                          影片的QC> feedback > 生成最後的成果

                          以現在AI 進步的速度 我想人類最後存在的價值 就是各自獨立的審美 如果我可以train 我的agent/ skill 基本上就可以穩定的生成我想要的東西 但是我目前的knowledge 還遠遠不夠 都是一些初步的構想

                          T 1 条回复 最后回复
                          0
                          • kos orK
                            kos orK
                            kos or
                            超凡大师
                            编写于 最后由 编辑
                            #13

                            電影製作方面 或許可以參考 Ben Affleck, 李飛飛 世界模型(World Model)
                            之前使用過ComfyUI Minimax-H3,發現最難的就是怎麼安排不同的場景,有精確的Prompt 達成想要的分鏡效果(畫面)
                            或許已經有導演和編劇專業的Agent/model 了 可以滿足這樣的需求
                            也可以試試用相關的datasets 作LoRA, QLoRA 客製化一個model

                            ”Netflix 斥資 5.87 億美元收購了本·阿弗萊克的 AI 電影技術新創公司 InterPositive,這是一項重磅投資,旨在利用生成工具重塑電影和劇集的製作方式。“

                            Chu Hao-LungC 1 条回复 最后回复
                            1
                            • T
                              T
                              Tiger
                              编写于 最后由 编辑
                              #14

                              似乎看到了个人玩家目前的天花板。

                              Chu Hao-LungC 1 条回复 最后回复
                              1
                              • terryT
                                terryT
                                terry
                                超级版主
                                编写于 最后由 编辑
                                #15

                                这个是论坛到目前为止的天花板了。不过好像有发A100和H100的,那玩意买的时候也挺贵。

                                油管:https://www.youtube.com/@抡锤者

                                Chu Hao-LungC 1 条回复 最后回复
                                1
                                • XiaoteX
                                  XiaoteX
                                  Xiaote
                                  编写于 最后由 编辑
                                  #16

                                  ⭐ 版主审定:本帖设为精华,作者 +5 积分奖励,希望再接再厉!

                                  奖励凭证:精华 +5 分 · 编号 f2100-3559-1(系统自动发放,显示稍有延迟)

                                  老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                                  1 条回复 最后回复
                                  0
                                  • XiaoteX
                                    XiaoteX
                                    Xiaote
                                    编写于 最后由 编辑
                                    #17

                                    🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!

                                    奖励凭证:热议 +3 分 · 编号 h2100-3559-1(系统自动发放,显示稍有延迟)

                                    老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                                    1 条回复 最后回复
                                    0
                                    • williamlouisW
                                      williamlouisW
                                      williamlouis
                                      超级版主
                                      编写于 最后由 编辑
                                      #18

                                      这是目前最合理的配置了。
                                      家用的顶配。
                                      RTX PRO 6000 Blackwell Max-Q 96GB 噪音测试非常OK。主机可以放脚边工作。放桌面声音也可以接受。

                                      个人主页:xlkj.org Telegram https://t.me/xlkjorg

                                      Chu Hao-LungC 1 条回复 最后回复
                                      1
                                      • kos orK kos or

                                        電影製作方面 或許可以參考 Ben Affleck, 李飛飛 世界模型(World Model)
                                        之前使用過ComfyUI Minimax-H3,發現最難的就是怎麼安排不同的場景,有精確的Prompt 達成想要的分鏡效果(畫面)
                                        或許已經有導演和編劇專業的Agent/model 了 可以滿足這樣的需求
                                        也可以試試用相關的datasets 作LoRA, QLoRA 客製化一個model

                                        ”Netflix 斥資 5.87 億美元收購了本·阿弗萊克的 AI 電影技術新創公司 InterPositive,這是一項重磅投資,旨在利用生成工具重塑電影和劇集的製作方式。“

                                        Chu Hao-LungC
                                        Chu Hao-LungC
                                        Chu Hao-Lung
                                        德高望重
                                        编写于 最后由 编辑
                                        #19

                                        @kos-or

                                        謝謝分享 昨晚也稍微研究了一下 感覺那幾個方法計算力有點驚人 我先試試看我的route ceiling在哪

                                        1 条回复 最后回复
                                        0
                                        • T Tiger

                                          似乎看到了个人玩家目前的天花板。

                                          Chu Hao-LungC
                                          Chu Hao-LungC
                                          Chu Hao-Lung
                                          德高望重
                                          编写于 最后由 编辑
                                          #20

                                          @Tiger
                                          硬件這種東西迭代速度太快了 我賭的就只是明年老黃算力出不了比pro6000 更高階的卡..
                                          大概率會走向整機的模式 那就沒有硬件折騰的感覺了
                                          如果被打臉 也沒辦法 哈哈

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组