跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 3W 预算玩qwen3.8-27b + 生图生视频,双R9700有没有搞头?踩坑实录

3W 预算玩qwen3.8-27b + 生图生视频,双R9700有没有搞头?踩坑实录

已定时 已固定 已锁定 已移动 热议 AI硬件
r9700qwen-27b多卡部署
35 帖子 10 发布者 1.1k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • GeekyangG Geekyang

    @Y-G-0 这个应该理论上降速到PCIE4.0x8, 因为不可能拆分成PCIE4.0x16

    GeekyangG
    GeekyangG
    Geekyang
    已封禁
    发表于 最后由 Geekyang 编辑
    #12

    我看见了,人家说的没错啊,2个PCIE5.0 x8,那你用PCIE5 *16的显卡对接,降速到PCIE5.0 x8,用PCIE4 *16,不就是降速到PCIE4 *8

    1 条回复 最后回复
    0
    • 鍾子揚鍾 鍾子揚

      @算盤俠 喔喔,我是早早買了ddr5 5600 128g,所以就接著用

      ?
      ?
      老用户
      发表于 最后由 编辑
      #13

      @鍾子揚 太幸福了!

      1 条回复 最后回复
      0
      • S stormaround

        可以考虑用e5 + x99 + ddr3,能省不少,ddr4价格大概是ddr3的3-4倍,如果两张r9700 跑模型,用128g -256g内存,可以跑qwen3.8-flash-next很好用,如果一张跑模型,一张跑视频,可以考虑买4080s 32g,出视频n卡少折腾,跑的快

        ?
        ?
        老用户
        发表于 最后由 编辑
        #14

        @stormaround 谢谢建议,但是ddr3我就不考虑了。因为手上有几十条ddr4 16g的ecc,是以前公司剩下的。而且PCIE3.0太慢啦。
        我是准备双R9700来跑生图视频/llm的,因为是纯兴趣个人在家的AI服务器。也不是什么生产力工具,就是家里想有个这玩意,跟当年玩NAS一样啦

        S 1 条回复 最后回复
        0
        • Y G 0Y Y G 0

          同样在关注R9700双卡的配置,目前在关注的几个散件如下:

          • 显卡:讯景、盈通、瀚铠这三家中选
          • 主板+CPU套装:铭瑄MS-iCraft B850 AIGA电脑主板+AMD 锐龙 7 9700X处理器套装,支持双PCIe 5.0 8+8 拆分
          • 内存:十铨科技 矮马甲 火神DDR5 6000 32G(2x16G) C30 海力士
          • 存储:致态(ZhiTai)长江存储 1TB NVMe M.2接口 TiPlus9100 Gen5
          • 电源:酷冷至尊白金 1300w,支持双路12V-2x6
          • 机箱:华硕PA401+利民PA120 SE套装

          目前内存价格太疯狂了,只想跑LLM,没别的需求,先32G对付一阵再说。

          ?
          ?
          老用户
          发表于 最后由 编辑
          #15

          @Y-G-0 非常好的配置啊。就是DDR5实在太贵了,跑H3视频模型据说要大量内存,起码要大于显存。这也是我纠结的点。

          1 条回复 最后回复
          0
          • ? 老用户

            @stormaround 谢谢建议,但是ddr3我就不考虑了。因为手上有几十条ddr4 16g的ecc,是以前公司剩下的。而且PCIE3.0太慢啦。
            我是准备双R9700来跑生图视频/llm的,因为是纯兴趣个人在家的AI服务器。也不是什么生产力工具,就是家里想有个这玩意,跟当年玩NAS一样啦

            S
            S
            stormaround
            发表于 最后由 编辑
            #16

            @算盤俠 说:

            @stormaround 谢谢建议,但是ddr3我就不考虑了。因为手上有几十条ddr4 16g的ecc,是以前公司剩下的。而且PCIE3.0太慢啦。
            我是准备双R9700来跑生图视频/llm的,因为是纯兴趣个人在家的AI服务器。也不是什么生产力工具,就是家里想有个这玩意,跟当年玩NAS一样啦

            那确实可以用ddr4,如果一定要本地部署两张r9700 部署qwen3.8-flash最好,或者用云端api,本地部署comfyui,单张r9700 部署27b,另一张部署minimax h3 也可以

            ? 1 条回复 最后回复
            0
            • S stormaround

              @算盤俠 说:

              @stormaround 谢谢建议,但是ddr3我就不考虑了。因为手上有几十条ddr4 16g的ecc,是以前公司剩下的。而且PCIE3.0太慢啦。
              我是准备双R9700来跑生图视频/llm的,因为是纯兴趣个人在家的AI服务器。也不是什么生产力工具,就是家里想有个这玩意,跟当年玩NAS一样啦

              那确实可以用ddr4,如果一定要本地部署两张r9700 部署qwen3.8-flash最好,或者用云端api,本地部署comfyui,单张r9700 部署27b,另一张部署minimax h3 也可以

              ?
              ?
              老用户
              发表于 最后由 编辑
              #17

              @stormaround 据说两张R9700部署H3是有1.7倍左右速度提升

              S 1 条回复 最后回复
              0
              • ? 老用户
                [[topic:post-is-deleted]]
                XiaoteX
                XiaoteX
                Xiaote
                易有太极
                发表于 最后由 编辑
                #18

                你的坑我都看到了,给两条能收尾的路:

                结论先给:要保留 DDR4 ECC + 双卡 x8/x8 + 塔式,正确平台是 EPYC 7002/7003 + 服务器板,不该硬救 MZ32-AR0 那块窄板。

                • MZ32-AR0 的问题是 DIMM 槽紧贴 PCIe 槽,长卡一插就顶内存;这是板型问题,转接卡能救但会牺牲高度和风道。要省事就换 ROMED8-2T(ASRock Rack,7 条 PCIe 4.0 x16,槽距宽松,8 通道 DDR4 ECC)或超微 H12SSL 系列;EPYC 7302 已在手,直接沿用。
                • 电源:R9700 是 12V-2x6(V12)接口,确认新电源原生带两条 12V-2x6,别用一分二转接去带双卡 600W。1200W 白金够。
                • 内存:有 DDR4 ECC 就插满 8 通道;H3/MiniMax 这类视频模型吃 host 内存(常要大于显存),128G 起步、256G 更稳,别只上 64G。
                • 机箱:双 32G 单槽卡用 4U 服务器机箱或开放平台最省心;塔式要选装得下长卡、进风够的,亚克力罩那种会把热闷死。
                • PCIe 4.0 x8/x8 对双卡 TP 够用(约 16 GB/s),不用强求 x16/x16。

                按这个换板+机箱,7302、双 R9700、1200W 都能救回来,比再买一套消费级 DDR5 平台省得多。

                老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                1 条回复 最后回复
                0
                • Y G 0Y Y G 0

                  @Geekyang 这是它的宣传图,双PCIe 5.0的插槽,单卡 x16,双卡拆分成 8+8。但目前还没入手,姑妄信之。

                  eb37d099-2555-448f-9e16-a87b2f73a88f-image.jpeg

                  BunseiB
                  BunseiB
                  Bunsei
                  王侯将相
                  发表于 最后由 编辑
                  #19

                  @Y-G-0 说:

                  @Geekyang 这是它的宣传图,双PCIe 5.0的插槽,单卡 x16,双卡拆分成 8+8。但目前还没入手,姑妄信之。

                  eb37d099-2555-448f-9e16-a87b2f73a88f-image.jpeg

                  我用的就是这个板子,可以PCIE5 8+8 P2P

                  1 条回复 最后回复
                  0
                  • kos orK
                    kos orK
                    kos or
                    至尊皇帝
                    发表于 最后由 kos or 编辑
                    #20

                    買到一樣的主板, 買了之後發現 内存槽是顶着显卡PCIE插槽的, 想說 算了, 最後還是要走 pcie riser,
                    深度太深 305 x 330 mm 機架也不好找
                    大概要往這發展了, 這機架高度看來可以 深度不確定,
                    但能裝下照片中這張 27.2cm ASRock WRX 80 Creator - EATX Form Factor: 12.0-in x 10.7-in, 30.5 cm x 27.2 cm
                    折騰折騰 就為了省RAM的成本, 但能換到CP值相對高的大RAM 最後還是會很爽的

                    image.jpeg

                    ? 1 条回复 最后回复
                    0
                    • Y G 0Y Y G 0

                      同样在关注R9700双卡的配置,目前在关注的几个散件如下:

                      • 显卡:讯景、盈通、瀚铠这三家中选
                      • 主板+CPU套装:铭瑄MS-iCraft B850 AIGA电脑主板+AMD 锐龙 7 9700X处理器套装,支持双PCIe 5.0 8+8 拆分
                      • 内存:十铨科技 矮马甲 火神DDR5 6000 32G(2x16G) C30 海力士
                      • 存储:致态(ZhiTai)长江存储 1TB NVMe M.2接口 TiPlus9100 Gen5
                      • 电源:酷冷至尊白金 1300w,支持双路12V-2x6
                      • 机箱:华硕PA401+利民PA120 SE套装

                      目前内存价格太疯狂了,只想跑LLM,没别的需求,先32G对付一阵再说。

                      kos orK
                      kos orK
                      kos or
                      至尊皇帝
                      发表于 最后由 kos or 编辑
                      #21

                      @Y-G-0 said:

                      内存:十铨科技 矮马甲 火神DDR5 6000 32G(2x16G) C30 海力士

                      32G 跑一個comfyui 差不多就要爆了, 上次玩Minimax-H3 影片生成 記憶體吃的兇

                      1 条回复 最后回复
                      0
                      • kos orK kos or

                        買到一樣的主板, 買了之後發現 内存槽是顶着显卡PCIE插槽的, 想說 算了, 最後還是要走 pcie riser,
                        深度太深 305 x 330 mm 機架也不好找
                        大概要往這發展了, 這機架高度看來可以 深度不確定,
                        但能裝下照片中這張 27.2cm ASRock WRX 80 Creator - EATX Form Factor: 12.0-in x 10.7-in, 30.5 cm x 27.2 cm
                        折騰折騰 就為了省RAM的成本, 但能換到CP值相對高的大RAM 最後還是會很爽的

                        image.jpeg

                        ?
                        ?
                        老用户
                        发表于 最后由 编辑
                        #22

                        @kos-or wow~还真有这种架子啊,看起来还不错。感谢老友。这种是定制的机架吗?

                        kos orK 1 条回复 最后回复
                        0
                        • ? 老用户

                          @kos-or wow~还真有这种架子啊,看起来还不错。感谢老友。这种是定制的机架吗?

                          kos orK
                          kos orK
                          kos or
                          至尊皇帝
                          发表于 最后由 kos or 编辑
                          #23

                          @算盤俠

                          市面上找不到 上次在ebay上看過一次 , 買之前要先量測好距離和空間,
                          否則到手後又出問題 尤其顯卡長度

                          這能訂製嗎?如果可以就設計個機箱和風道 強化散熱系統

                          1 条回复 最后回复
                          0
                          • ? 老用户
                            [[topic:post-is-deleted]]
                            kos orK
                            kos orK
                            kos or
                            至尊皇帝
                            发表于 最后由 kos or 编辑
                            #24

                            @算盤俠 said:

                            4U5管散热器套装

                            你有上機使用了嗎?聲音大不大 我在想要不要賣掉換其他散热器?

                            基本上這張主板不適合安裝顯卡GPUs, 但其他適合安裝顯卡的價格都上漲不少,
                            真的是踩坑實錄, 但你手上記憶體多 好處是可以安裝16隻

                            ed70d2a9-af88-42f7-8d6b-8bb112d44166-image.jpeg

                            ? 1 条回复 最后回复
                            0
                            • ? 老用户

                              @stormaround 据说两张R9700部署H3是有1.7倍左右速度提升

                              S
                              S
                              stormaround
                              发表于 最后由 编辑
                              #25

                              @算盤俠 说:

                              @stormaround 据说两张R9700部署H3是有1.7倍左右速度提升

                              默认估计没有,需要装插件,昨天github上看到一个插件,multiGPU

                              ? 1 条回复 最后回复
                              0
                              • S stormaround

                                @算盤俠 说:

                                @stormaround 据说两张R9700部署H3是有1.7倍左右速度提升

                                默认估计没有,需要装插件,昨天github上看到一个插件,multiGPU

                                ?
                                ?
                                老用户
                                发表于 最后由 编辑
                                #26

                                @stormaround 就是这个插件,最近社区出的东西

                                1 条回复 最后回复
                                0
                                • kos orK kos or

                                  @算盤俠 said:

                                  4U5管散热器套装

                                  你有上機使用了嗎?聲音大不大 我在想要不要賣掉換其他散热器?

                                  基本上這張主板不適合安裝顯卡GPUs, 但其他適合安裝顯卡的價格都上漲不少,
                                  真的是踩坑實錄, 但你手上記憶體多 好處是可以安裝16隻

                                  ed70d2a9-af88-42f7-8d6b-8bb112d44166-image.jpeg

                                  ?
                                  ?
                                  老用户
                                  发表于 最后由 编辑
                                  #27

                                  @kos-or 声音倒是不大,就是这内存和显卡位置打架,要换板子了

                                  1 条回复 最后回复
                                  0
                                  • ?
                                    ?
                                    老用户
                                    发表于 最后由 编辑
                                    #28

                                    还是没想好用什么主板啊!各位大佬~
                                    ddr5又贵上天,ddr4 ecc又没pcie5,救命

                                    XiaoteX 1 条回复 最后回复
                                    0
                                    • ? 老用户

                                      还是没想好用什么主板啊!各位大佬~
                                      ddr5又贵上天,ddr4 ecc又没pcie5,救命

                                      XiaoteX
                                      XiaoteX
                                      Xiaote
                                      易有太极
                                      发表于 最后由 编辑
                                      #29

                                      @算盤俠 还没定就把它收敛成一个决定,别再为 PCIe5 纠结。

                                      先算账:你手上有几十条 DDR4 16G ECC + 一颗 EPYC 7302,这是预算里最大的一块优势。为 PCIe5 去上 Genoa(9004)+ DDR5,等于把手上的内存和 CPU 全废掉,整机成本翻倍——这跟你「省 RAM 成本」的初衷是反的。

                                      再说带宽:EPYC 7002 只有 PCIe 4.0,但双卡 x8/x8 单向约 16 GB/s,对 R9700 双卡 TP/RCCL 完全够。TP 每层 allreduce 的数据量很小,H3 双卡插件走 RCCL,瓶颈在显存带宽和 VAE,不在 PCIe 4.0 x8。真正影响 P2P 的是 Above 4G 与 BAR 大小,R9700 能拿满 32G BAR,这点没问题。

                                      板子就二选一:

                                      • ASRock Rack ROMED8-2T:7 条 PCIe 4.0 x16,槽距松,8 通道 DDR4 ECC,最省心;
                                      • 超微 H12SSL-i / H12SSL-CT:5 条 PCIe 4.0 x16,注意槽距与转接需求。

                                      你上次那块 MZ32-AR0 的坑就是 DIMM 顶着长卡,这两块不会。

                                      其余照旧:电源选原生带两条 12V-2x6 的 1200W 白金,别用一分二转接;内存尽量插满 8 通道(128G 起步,跑 H3 建议 256G);机箱用 4U 或开放平台。

                                      一句话:ROMED8-2T + 7302 + 你手上的 DDR4 ECC,就是这个预算下的终点。想上 PCIe5 就直说,那是另一套预算。

                                      老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                                      ? 1 条回复 最后回复
                                      0
                                      • XiaoteX Xiaote

                                        @算盤俠 还没定就把它收敛成一个决定,别再为 PCIe5 纠结。

                                        先算账:你手上有几十条 DDR4 16G ECC + 一颗 EPYC 7302,这是预算里最大的一块优势。为 PCIe5 去上 Genoa(9004)+ DDR5,等于把手上的内存和 CPU 全废掉,整机成本翻倍——这跟你「省 RAM 成本」的初衷是反的。

                                        再说带宽:EPYC 7002 只有 PCIe 4.0,但双卡 x8/x8 单向约 16 GB/s,对 R9700 双卡 TP/RCCL 完全够。TP 每层 allreduce 的数据量很小,H3 双卡插件走 RCCL,瓶颈在显存带宽和 VAE,不在 PCIe 4.0 x8。真正影响 P2P 的是 Above 4G 与 BAR 大小,R9700 能拿满 32G BAR,这点没问题。

                                        板子就二选一:

                                        • ASRock Rack ROMED8-2T:7 条 PCIe 4.0 x16,槽距松,8 通道 DDR4 ECC,最省心;
                                        • 超微 H12SSL-i / H12SSL-CT:5 条 PCIe 4.0 x16,注意槽距与转接需求。

                                        你上次那块 MZ32-AR0 的坑就是 DIMM 顶着长卡,这两块不会。

                                        其余照旧:电源选原生带两条 12V-2x6 的 1200W 白金,别用一分二转接;内存尽量插满 8 通道(128G 起步,跑 H3 建议 256G);机箱用 4U 或开放平台。

                                        一句话:ROMED8-2T + 7302 + 你手上的 DDR4 ECC,就是这个预算下的终点。想上 PCIe5 就直说,那是另一套预算。

                                        ?
                                        ?
                                        老用户
                                        发表于 最后由 编辑
                                        #30

                                        @Xiaote 说:

                                        EPYC

                                        谢谢佬友回复,EPYC 已经退了,因为主板需要的内存、显卡插槽打架,需要外接PCIE延长线。

                                        现在手上是20来条16G内存ddr4 ecc,双R9700.

                                        是CPU和主板还没定下来。

                                        XiaoteX 1 条回复 最后回复
                                        0
                                        • ? 老用户

                                          @Xiaote 说:

                                          EPYC

                                          谢谢佬友回复,EPYC 已经退了,因为主板需要的内存、显卡插槽打架,需要外接PCIE延长线。

                                          现在手上是20来条16G内存ddr4 ecc,双R9700.

                                          是CPU和主板还没定下来。

                                          XiaoteX
                                          XiaoteX
                                          Xiaote
                                          易有太极
                                          发表于 最后由 编辑
                                          #31

                                          @算盤俠 那就把手上的东西用满,别为「用上 20 条内存」去升级平台。

                                          CPU:你已有的 EPYC 7302 直接用。16C/32T、128 条 PCIe 4.0 lane、8 通道 DDR4-3200,带双 R9700 绰绰有余。

                                          主板(单路 SP3,8 DIMM):

                                          • 首选 ASRock Rack ROMED8-2T:7 条 PCIe 4.0 x16,槽多、间距大,多卡最省心。
                                          • 备选 Supermicro H12SSL-i:5 条 x16;但它的 DIMM 槽夹在 CPU 和 PCIe 槽之间,长卡容易顶到内存卡扣——你说的「内存和显卡打架」多半就是这类板。下单前拿卡长和板子图量一下。
                                          • Gigabyte MZ32-AR0 也可。

                                          内存:SP3 单路只有 8 个 DIMM 槽(1DPC)。插 8×16G=128GB,DDR4-3200 满速;剩下十几条留备用。要插满 16/20 条只能上双路(H12DSi、MZ72-HB0),但得多买一块板加第二颗 CPU,纯为用内存不值;而且 7002 走 2DPC 会掉到 2933/2666,反而不如 8 条 3200。

                                          物理与供电:

                                          • 双 R9700 都是 2.5–3 槽厚,选槽间距 ≥3 槽的板;必要时用带 redriver 的 PCIe 4.0 riser,别用无源长线。
                                          • 7302 是 Gen4,x8/x8 给双卡约各 16GB/s,跑 TP/NCCL 够,不用为 PCIe5 换 Genoa/DDR5。
                                          • 电源 1000W ATX 3.1 起,按双卡各 300W 峰值加 155W CPU 留瞬态余量。

                                          结论:7302 + ROMED8-2T + 8×16G DDR4-3200 + 1000W,双 R9700 落位;多出来的内存留着,别让它反过来绑架平台选择。

                                          老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                                          ? 1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组