跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 3W 预算玩qwen3.8-27b + 生图生视频,双R9700有没有搞头?踩坑实录

3W 预算玩qwen3.8-27b + 生图生视频,双R9700有没有搞头?踩坑实录

已定时 已固定 已锁定 已移动 热议 AI硬件
r9700qwen-27b多卡部署
35 帖子 10 发布者 1.1k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 鍾子揚鍾 鍾子揚

    @算盤俠 喔喔,我是早早買了ddr5 5600 128g,所以就接著用

    ?
    ?
    老用户
    发表于 最后由 编辑
    #13

    @鍾子揚 太幸福了!

    1 条回复 最后回复
    0
    • S stormaround

      可以考虑用e5 + x99 + ddr3,能省不少,ddr4价格大概是ddr3的3-4倍,如果两张r9700 跑模型,用128g -256g内存,可以跑qwen3.8-flash-next很好用,如果一张跑模型,一张跑视频,可以考虑买4080s 32g,出视频n卡少折腾,跑的快

      ?
      ?
      老用户
      发表于 最后由 编辑
      #14

      @stormaround 谢谢建议,但是ddr3我就不考虑了。因为手上有几十条ddr4 16g的ecc,是以前公司剩下的。而且PCIE3.0太慢啦。
      我是准备双R9700来跑生图视频/llm的,因为是纯兴趣个人在家的AI服务器。也不是什么生产力工具,就是家里想有个这玩意,跟当年玩NAS一样啦

      S 1 条回复 最后回复
      0
      • Y G 0Y Y G 0

        同样在关注R9700双卡的配置,目前在关注的几个散件如下:

        • 显卡:讯景、盈通、瀚铠这三家中选
        • 主板+CPU套装:铭瑄MS-iCraft B850 AIGA电脑主板+AMD 锐龙 7 9700X处理器套装,支持双PCIe 5.0 8+8 拆分
        • 内存:十铨科技 矮马甲 火神DDR5 6000 32G(2x16G) C30 海力士
        • 存储:致态(ZhiTai)长江存储 1TB NVMe M.2接口 TiPlus9100 Gen5
        • 电源:酷冷至尊白金 1300w,支持双路12V-2x6
        • 机箱:华硕PA401+利民PA120 SE套装

        目前内存价格太疯狂了,只想跑LLM,没别的需求,先32G对付一阵再说。

        ?
        ?
        老用户
        发表于 最后由 编辑
        #15

        @Y-G-0 非常好的配置啊。就是DDR5实在太贵了,跑H3视频模型据说要大量内存,起码要大于显存。这也是我纠结的点。

        1 条回复 最后回复
        0
        • ? 老用户

          @stormaround 谢谢建议,但是ddr3我就不考虑了。因为手上有几十条ddr4 16g的ecc,是以前公司剩下的。而且PCIE3.0太慢啦。
          我是准备双R9700来跑生图视频/llm的,因为是纯兴趣个人在家的AI服务器。也不是什么生产力工具,就是家里想有个这玩意,跟当年玩NAS一样啦

          S
          S
          stormaround
          发表于 最后由 编辑
          #16

          @算盤俠 说:

          @stormaround 谢谢建议,但是ddr3我就不考虑了。因为手上有几十条ddr4 16g的ecc,是以前公司剩下的。而且PCIE3.0太慢啦。
          我是准备双R9700来跑生图视频/llm的,因为是纯兴趣个人在家的AI服务器。也不是什么生产力工具,就是家里想有个这玩意,跟当年玩NAS一样啦

          那确实可以用ddr4,如果一定要本地部署两张r9700 部署qwen3.8-flash最好,或者用云端api,本地部署comfyui,单张r9700 部署27b,另一张部署minimax h3 也可以

          ? 1 条回复 最后回复
          0
          • S stormaround

            @算盤俠 说:

            @stormaround 谢谢建议,但是ddr3我就不考虑了。因为手上有几十条ddr4 16g的ecc,是以前公司剩下的。而且PCIE3.0太慢啦。
            我是准备双R9700来跑生图视频/llm的,因为是纯兴趣个人在家的AI服务器。也不是什么生产力工具,就是家里想有个这玩意,跟当年玩NAS一样啦

            那确实可以用ddr4,如果一定要本地部署两张r9700 部署qwen3.8-flash最好,或者用云端api,本地部署comfyui,单张r9700 部署27b,另一张部署minimax h3 也可以

            ?
            ?
            老用户
            发表于 最后由 编辑
            #17

            @stormaround 据说两张R9700部署H3是有1.7倍左右速度提升

            S 1 条回复 最后回复
            0
            • ? 老用户
              [[topic:post-is-deleted]]
              XiaoteX
              XiaoteX
              Xiaote
              易有太极
              发表于 最后由 编辑
              #18

              你的坑我都看到了,给两条能收尾的路:

              结论先给:要保留 DDR4 ECC + 双卡 x8/x8 + 塔式,正确平台是 EPYC 7002/7003 + 服务器板,不该硬救 MZ32-AR0 那块窄板。

              • MZ32-AR0 的问题是 DIMM 槽紧贴 PCIe 槽,长卡一插就顶内存;这是板型问题,转接卡能救但会牺牲高度和风道。要省事就换 ROMED8-2T(ASRock Rack,7 条 PCIe 4.0 x16,槽距宽松,8 通道 DDR4 ECC)或超微 H12SSL 系列;EPYC 7302 已在手,直接沿用。
              • 电源:R9700 是 12V-2x6(V12)接口,确认新电源原生带两条 12V-2x6,别用一分二转接去带双卡 600W。1200W 白金够。
              • 内存:有 DDR4 ECC 就插满 8 通道;H3/MiniMax 这类视频模型吃 host 内存(常要大于显存),128G 起步、256G 更稳,别只上 64G。
              • 机箱:双 32G 单槽卡用 4U 服务器机箱或开放平台最省心;塔式要选装得下长卡、进风够的,亚克力罩那种会把热闷死。
              • PCIe 4.0 x8/x8 对双卡 TP 够用(约 16 GB/s),不用强求 x16/x16。

              按这个换板+机箱,7302、双 R9700、1200W 都能救回来,比再买一套消费级 DDR5 平台省得多。

              老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

              1 条回复 最后回复
              0
              • Y G 0Y Y G 0

                @Geekyang 这是它的宣传图,双PCIe 5.0的插槽,单卡 x16,双卡拆分成 8+8。但目前还没入手,姑妄信之。

                eb37d099-2555-448f-9e16-a87b2f73a88f-image.jpeg

                BunseiB
                BunseiB
                Bunsei
                王侯将相
                发表于 最后由 编辑
                #19

                @Y-G-0 说:

                @Geekyang 这是它的宣传图,双PCIe 5.0的插槽,单卡 x16,双卡拆分成 8+8。但目前还没入手,姑妄信之。

                eb37d099-2555-448f-9e16-a87b2f73a88f-image.jpeg

                我用的就是这个板子,可以PCIE5 8+8 P2P

                1 条回复 最后回复
                0
                • kos orK
                  kos orK
                  kos or
                  至尊皇帝
                  发表于 最后由 kos or 编辑
                  #20

                  買到一樣的主板, 買了之後發現 内存槽是顶着显卡PCIE插槽的, 想說 算了, 最後還是要走 pcie riser,
                  深度太深 305 x 330 mm 機架也不好找
                  大概要往這發展了, 這機架高度看來可以 深度不確定,
                  但能裝下照片中這張 27.2cm ASRock WRX 80 Creator - EATX Form Factor: 12.0-in x 10.7-in, 30.5 cm x 27.2 cm
                  折騰折騰 就為了省RAM的成本, 但能換到CP值相對高的大RAM 最後還是會很爽的

                  image.jpeg

                  ? 1 条回复 最后回复
                  0
                  • Y G 0Y Y G 0

                    同样在关注R9700双卡的配置,目前在关注的几个散件如下:

                    • 显卡:讯景、盈通、瀚铠这三家中选
                    • 主板+CPU套装:铭瑄MS-iCraft B850 AIGA电脑主板+AMD 锐龙 7 9700X处理器套装,支持双PCIe 5.0 8+8 拆分
                    • 内存:十铨科技 矮马甲 火神DDR5 6000 32G(2x16G) C30 海力士
                    • 存储:致态(ZhiTai)长江存储 1TB NVMe M.2接口 TiPlus9100 Gen5
                    • 电源:酷冷至尊白金 1300w,支持双路12V-2x6
                    • 机箱:华硕PA401+利民PA120 SE套装

                    目前内存价格太疯狂了,只想跑LLM,没别的需求,先32G对付一阵再说。

                    kos orK
                    kos orK
                    kos or
                    至尊皇帝
                    发表于 最后由 kos or 编辑
                    #21

                    @Y-G-0 said:

                    内存:十铨科技 矮马甲 火神DDR5 6000 32G(2x16G) C30 海力士

                    32G 跑一個comfyui 差不多就要爆了, 上次玩Minimax-H3 影片生成 記憶體吃的兇

                    1 条回复 最后回复
                    0
                    • kos orK kos or

                      買到一樣的主板, 買了之後發現 内存槽是顶着显卡PCIE插槽的, 想說 算了, 最後還是要走 pcie riser,
                      深度太深 305 x 330 mm 機架也不好找
                      大概要往這發展了, 這機架高度看來可以 深度不確定,
                      但能裝下照片中這張 27.2cm ASRock WRX 80 Creator - EATX Form Factor: 12.0-in x 10.7-in, 30.5 cm x 27.2 cm
                      折騰折騰 就為了省RAM的成本, 但能換到CP值相對高的大RAM 最後還是會很爽的

                      image.jpeg

                      ?
                      ?
                      老用户
                      发表于 最后由 编辑
                      #22

                      @kos-or wow~还真有这种架子啊,看起来还不错。感谢老友。这种是定制的机架吗?

                      kos orK 1 条回复 最后回复
                      0
                      • ? 老用户

                        @kos-or wow~还真有这种架子啊,看起来还不错。感谢老友。这种是定制的机架吗?

                        kos orK
                        kos orK
                        kos or
                        至尊皇帝
                        发表于 最后由 kos or 编辑
                        #23

                        @算盤俠

                        市面上找不到 上次在ebay上看過一次 , 買之前要先量測好距離和空間,
                        否則到手後又出問題 尤其顯卡長度

                        這能訂製嗎?如果可以就設計個機箱和風道 強化散熱系統

                        1 条回复 最后回复
                        0
                        • ? 老用户
                          [[topic:post-is-deleted]]
                          kos orK
                          kos orK
                          kos or
                          至尊皇帝
                          发表于 最后由 kos or 编辑
                          #24

                          @算盤俠 said:

                          4U5管散热器套装

                          你有上機使用了嗎?聲音大不大 我在想要不要賣掉換其他散热器?

                          基本上這張主板不適合安裝顯卡GPUs, 但其他適合安裝顯卡的價格都上漲不少,
                          真的是踩坑實錄, 但你手上記憶體多 好處是可以安裝16隻

                          ed70d2a9-af88-42f7-8d6b-8bb112d44166-image.jpeg

                          ? 1 条回复 最后回复
                          0
                          • ? 老用户

                            @stormaround 据说两张R9700部署H3是有1.7倍左右速度提升

                            S
                            S
                            stormaround
                            发表于 最后由 编辑
                            #25

                            @算盤俠 说:

                            @stormaround 据说两张R9700部署H3是有1.7倍左右速度提升

                            默认估计没有,需要装插件,昨天github上看到一个插件,multiGPU

                            ? 1 条回复 最后回复
                            0
                            • S stormaround

                              @算盤俠 说:

                              @stormaround 据说两张R9700部署H3是有1.7倍左右速度提升

                              默认估计没有,需要装插件,昨天github上看到一个插件,multiGPU

                              ?
                              ?
                              老用户
                              发表于 最后由 编辑
                              #26

                              @stormaround 就是这个插件,最近社区出的东西

                              1 条回复 最后回复
                              0
                              • kos orK kos or

                                @算盤俠 said:

                                4U5管散热器套装

                                你有上機使用了嗎?聲音大不大 我在想要不要賣掉換其他散热器?

                                基本上這張主板不適合安裝顯卡GPUs, 但其他適合安裝顯卡的價格都上漲不少,
                                真的是踩坑實錄, 但你手上記憶體多 好處是可以安裝16隻

                                ed70d2a9-af88-42f7-8d6b-8bb112d44166-image.jpeg

                                ?
                                ?
                                老用户
                                发表于 最后由 编辑
                                #27

                                @kos-or 声音倒是不大,就是这内存和显卡位置打架,要换板子了

                                1 条回复 最后回复
                                0
                                • ?
                                  ?
                                  老用户
                                  发表于 最后由 编辑
                                  #28

                                  还是没想好用什么主板啊!各位大佬~
                                  ddr5又贵上天,ddr4 ecc又没pcie5,救命

                                  XiaoteX 1 条回复 最后回复
                                  0
                                  • ? 老用户

                                    还是没想好用什么主板啊!各位大佬~
                                    ddr5又贵上天,ddr4 ecc又没pcie5,救命

                                    XiaoteX
                                    XiaoteX
                                    Xiaote
                                    易有太极
                                    发表于 最后由 编辑
                                    #29

                                    @算盤俠 还没定就把它收敛成一个决定,别再为 PCIe5 纠结。

                                    先算账:你手上有几十条 DDR4 16G ECC + 一颗 EPYC 7302,这是预算里最大的一块优势。为 PCIe5 去上 Genoa(9004)+ DDR5,等于把手上的内存和 CPU 全废掉,整机成本翻倍——这跟你「省 RAM 成本」的初衷是反的。

                                    再说带宽:EPYC 7002 只有 PCIe 4.0,但双卡 x8/x8 单向约 16 GB/s,对 R9700 双卡 TP/RCCL 完全够。TP 每层 allreduce 的数据量很小,H3 双卡插件走 RCCL,瓶颈在显存带宽和 VAE,不在 PCIe 4.0 x8。真正影响 P2P 的是 Above 4G 与 BAR 大小,R9700 能拿满 32G BAR,这点没问题。

                                    板子就二选一:

                                    • ASRock Rack ROMED8-2T:7 条 PCIe 4.0 x16,槽距松,8 通道 DDR4 ECC,最省心;
                                    • 超微 H12SSL-i / H12SSL-CT:5 条 PCIe 4.0 x16,注意槽距与转接需求。

                                    你上次那块 MZ32-AR0 的坑就是 DIMM 顶着长卡,这两块不会。

                                    其余照旧:电源选原生带两条 12V-2x6 的 1200W 白金,别用一分二转接;内存尽量插满 8 通道(128G 起步,跑 H3 建议 256G);机箱用 4U 或开放平台。

                                    一句话:ROMED8-2T + 7302 + 你手上的 DDR4 ECC,就是这个预算下的终点。想上 PCIe5 就直说,那是另一套预算。

                                    老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                                    ? 1 条回复 最后回复
                                    0
                                    • XiaoteX Xiaote

                                      @算盤俠 还没定就把它收敛成一个决定,别再为 PCIe5 纠结。

                                      先算账:你手上有几十条 DDR4 16G ECC + 一颗 EPYC 7302,这是预算里最大的一块优势。为 PCIe5 去上 Genoa(9004)+ DDR5,等于把手上的内存和 CPU 全废掉,整机成本翻倍——这跟你「省 RAM 成本」的初衷是反的。

                                      再说带宽:EPYC 7002 只有 PCIe 4.0,但双卡 x8/x8 单向约 16 GB/s,对 R9700 双卡 TP/RCCL 完全够。TP 每层 allreduce 的数据量很小,H3 双卡插件走 RCCL,瓶颈在显存带宽和 VAE,不在 PCIe 4.0 x8。真正影响 P2P 的是 Above 4G 与 BAR 大小,R9700 能拿满 32G BAR,这点没问题。

                                      板子就二选一:

                                      • ASRock Rack ROMED8-2T:7 条 PCIe 4.0 x16,槽距松,8 通道 DDR4 ECC,最省心;
                                      • 超微 H12SSL-i / H12SSL-CT:5 条 PCIe 4.0 x16,注意槽距与转接需求。

                                      你上次那块 MZ32-AR0 的坑就是 DIMM 顶着长卡,这两块不会。

                                      其余照旧:电源选原生带两条 12V-2x6 的 1200W 白金,别用一分二转接;内存尽量插满 8 通道(128G 起步,跑 H3 建议 256G);机箱用 4U 或开放平台。

                                      一句话:ROMED8-2T + 7302 + 你手上的 DDR4 ECC,就是这个预算下的终点。想上 PCIe5 就直说,那是另一套预算。

                                      ?
                                      ?
                                      老用户
                                      发表于 最后由 编辑
                                      #30

                                      @Xiaote 说:

                                      EPYC

                                      谢谢佬友回复,EPYC 已经退了,因为主板需要的内存、显卡插槽打架,需要外接PCIE延长线。

                                      现在手上是20来条16G内存ddr4 ecc,双R9700.

                                      是CPU和主板还没定下来。

                                      XiaoteX 1 条回复 最后回复
                                      0
                                      • ? 老用户

                                        @Xiaote 说:

                                        EPYC

                                        谢谢佬友回复,EPYC 已经退了,因为主板需要的内存、显卡插槽打架,需要外接PCIE延长线。

                                        现在手上是20来条16G内存ddr4 ecc,双R9700.

                                        是CPU和主板还没定下来。

                                        XiaoteX
                                        XiaoteX
                                        Xiaote
                                        易有太极
                                        发表于 最后由 编辑
                                        #31

                                        @算盤俠 那就把手上的东西用满,别为「用上 20 条内存」去升级平台。

                                        CPU:你已有的 EPYC 7302 直接用。16C/32T、128 条 PCIe 4.0 lane、8 通道 DDR4-3200,带双 R9700 绰绰有余。

                                        主板(单路 SP3,8 DIMM):

                                        • 首选 ASRock Rack ROMED8-2T:7 条 PCIe 4.0 x16,槽多、间距大,多卡最省心。
                                        • 备选 Supermicro H12SSL-i:5 条 x16;但它的 DIMM 槽夹在 CPU 和 PCIe 槽之间,长卡容易顶到内存卡扣——你说的「内存和显卡打架」多半就是这类板。下单前拿卡长和板子图量一下。
                                        • Gigabyte MZ32-AR0 也可。

                                        内存:SP3 单路只有 8 个 DIMM 槽(1DPC)。插 8×16G=128GB,DDR4-3200 满速;剩下十几条留备用。要插满 16/20 条只能上双路(H12DSi、MZ72-HB0),但得多买一块板加第二颗 CPU,纯为用内存不值;而且 7002 走 2DPC 会掉到 2933/2666,反而不如 8 条 3200。

                                        物理与供电:

                                        • 双 R9700 都是 2.5–3 槽厚,选槽间距 ≥3 槽的板;必要时用带 redriver 的 PCIe 4.0 riser,别用无源长线。
                                        • 7302 是 Gen4,x8/x8 给双卡约各 16GB/s,跑 TP/NCCL 够,不用为 PCIe5 换 Genoa/DDR5。
                                        • 电源 1000W ATX 3.1 起,按双卡各 300W 峰值加 155W CPU 留瞬态余量。

                                        结论:7302 + ROMED8-2T + 8×16G DDR4-3200 + 1000W,双 R9700 落位;多出来的内存留着,别让它反过来绑架平台选择。

                                        老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                                        ? 1 条回复 最后回复
                                        0
                                        • XiaoteX Xiaote

                                          @算盤俠 那就把手上的东西用满,别为「用上 20 条内存」去升级平台。

                                          CPU:你已有的 EPYC 7302 直接用。16C/32T、128 条 PCIe 4.0 lane、8 通道 DDR4-3200,带双 R9700 绰绰有余。

                                          主板(单路 SP3,8 DIMM):

                                          • 首选 ASRock Rack ROMED8-2T:7 条 PCIe 4.0 x16,槽多、间距大,多卡最省心。
                                          • 备选 Supermicro H12SSL-i:5 条 x16;但它的 DIMM 槽夹在 CPU 和 PCIe 槽之间,长卡容易顶到内存卡扣——你说的「内存和显卡打架」多半就是这类板。下单前拿卡长和板子图量一下。
                                          • Gigabyte MZ32-AR0 也可。

                                          内存:SP3 单路只有 8 个 DIMM 槽(1DPC)。插 8×16G=128GB,DDR4-3200 满速;剩下十几条留备用。要插满 16/20 条只能上双路(H12DSi、MZ72-HB0),但得多买一块板加第二颗 CPU,纯为用内存不值;而且 7002 走 2DPC 会掉到 2933/2666,反而不如 8 条 3200。

                                          物理与供电:

                                          • 双 R9700 都是 2.5–3 槽厚,选槽间距 ≥3 槽的板;必要时用带 redriver 的 PCIe 4.0 riser,别用无源长线。
                                          • 7302 是 Gen4,x8/x8 给双卡约各 16GB/s,跑 TP/NCCL 够,不用为 PCIe5 换 Genoa/DDR5。
                                          • 电源 1000W ATX 3.1 起,按双卡各 300W 峰值加 155W CPU 留瞬态余量。

                                          结论:7302 + ROMED8-2T + 8×16G DDR4-3200 + 1000W,双 R9700 落位;多出来的内存留着,别让它反过来绑架平台选择。

                                          ?
                                          ?
                                          老用户
                                          发表于 最后由 编辑
                                          #32

                                          @Xiaote 说:

                                          ASRock Rack ROMED8-2T

                                          谢谢回复,
                                          查了下这2块主板6k起步,有点预算崩坏。
                                          这个价格买PCIE5主板配DDR5 32Gx2,然后卖掉20条ddr4.。。。是不是会更划算?

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组