跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
折叠
品牌标识

抡锤者

  1. 主页
  2. 版块
  3. AI硬件
  4. R9700 配什么副卡比较合适?

R9700 配什么副卡比较合适?

已定时 已固定 已锁定 已移动 AI硬件
r9700多卡部署
9 帖子 4 发布者 463 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • BunseiB 离线
    BunseiB 离线
    Bunsei
    编写于 最后由 编辑
    #1

    大佬们好,小弟目前的主卡是 AMD Radeon AI PRO R9700,想再配一张 16~24GB 显存的副卡,预算 6000 元以内,主要用于承担工作流中的其他任务(单独运行一个 10B 左右的辅助 VL 模型)或者是通过PP来提高Llama.cpp Qwen 27B模型的上下文。

    最近看到社区中已经有通过 llama.cpp 同时加载 CUDA 和 ROCm 后端,让 N 卡与 A 卡使用 --split-mode layer 实现 Pipeline Parallelism 的案例,例如:

    -sm layer -dev CUDA0,ROCm0 -ts 2,1

    不过,小弟也在咱们论坛看到其他大佬提到,PCIe P2P 可以减少显卡之间经由系统内存中转的通信开销,因此想进一步了解这种方案在我的平台上是否可行。

    我的主板是铭瑄 MS-iCraft B850 AIGA,使用 DDR5 (24GBx2)。官方说明书标注,搭配 Ryzen 7000/9000 时,两条全长显卡槽均来自 CPU,开启通道拆分后支持 PCIe 5.0 ×8/×8。

    目前考虑以下几个方向:

    1、RDNA 4 16GB:与 R9700 架构接近,ROCm 环境更统一;

    2、RDNA 3 20/24GB:显存性价比更高,但会运行在 PCIe 4.0 ×8;

    3、NVIDIA 16/24GB:可以补充 CUDA 生态,但跨厂商通信更复杂;

    4、Intel 16/24GB:如果价格和显存合适也可以接受,但不确定相关工作流及 llama.cpp 多卡兼容性如何。

    想请教各位大佬:

    像开启PCIE P2P能力需要主板支持吗?该如何确认自己的主板是否支持?

    预算 6000 元以内,副卡的选择更推荐 RDNA 4、RDNA 3、NVIDIA 还是 Intel?

    R9700 与不同型号、不同代的 AMD 显卡能否实现 PCIe P2P,还是必须使用同型号显卡?

    AMD+NVIDIA 在 llama.cpp 下运行 layer PP 是否稳定?跨厂商通信是否只能经过系统内存?

    下面是小弟参考的 R9700 相关讨论:

    https://www.reddit.com/r/LocalLLaMA/comments/1viq0pq/qwen36_27b_35b_on_vllm_single_r9700_gfx1201/

    1 条回复 最后回复
    0
    • terryT 离线
      terryT 离线
      terry
      超级版主
      编写于 最后由 编辑
      #2

      想再配一张 16~24GB 显存的副卡,预算 6000 元以内,你这需求除了7900xtx还有其它卡吗?你其他卡也不够啊,24G显存之下还有什么生态?

      油管:https://www.youtube.com/@抡锤者

      BunseiB 1 条回复 最后回复
      0
      • williamlouisW 在线
        williamlouisW 在线
        williamlouis
        超级版主
        编写于 最后由 编辑
        #3

        闲鱼 二手吧。我的7900出了。不然可以帮帮你。

        个人主页:xlkj.org Telegram https://t.me/xlkjorg

        BunseiB 1 条回复 最后回复
        0
        • terryT terry

          想再配一张 16~24GB 显存的副卡,预算 6000 元以内,你这需求除了7900xtx还有其它卡吗?你其他卡也不够啊,24G显存之下还有什么生态?

          BunseiB 离线
          BunseiB 离线
          Bunsei
          编写于 最后由 编辑
          #4

          @terry 说:

          想再配一张 16~24GB 显存的副卡,预算 6000 元以内,你这需求除了7900xtx还有其它卡吗?你其他卡也不够啊,24G显存之下还有什么生态?

          好像确实,要么也只有2080那些老N卡,或者还有一款5060TI(16G)? Intel B系列好像看势头蛮猛的,但是看论坛里好像已经有朋友踩坑了。

          terryT 1 条回复 最后回复
          0
          • BunseiB Bunsei

            @terry 说:

            想再配一张 16~24GB 显存的副卡,预算 6000 元以内,你这需求除了7900xtx还有其它卡吗?你其他卡也不够啊,24G显存之下还有什么生态?

            好像确实,要么也只有2080那些老N卡,或者还有一款5060TI(16G)? Intel B系列好像看势头蛮猛的,但是看论坛里好像已经有朋友踩坑了。

            terryT 离线
            terryT 离线
            terry
            超级版主
            编写于 最后由 编辑
            #5

            @Bunsei 英特尔的显卡是工业垃圾,完全不用考虑。

            油管:https://www.youtube.com/@抡锤者

            1 条回复 最后回复
            0
            • williamlouisW williamlouis

              闲鱼 二手吧。我的7900出了。不然可以帮帮你。

              BunseiB 离线
              BunseiB 离线
              Bunsei
              编写于 最后由 编辑
              #6

              @williamlouis 说:

              闲鱼 二手吧。我的7900出了。不然可以帮帮你。

              这个卡好像最近也涨了,但好像A卡阵营再没有什么其他更合适的了。

              1 条回复 最后回复
              0
              • BunseiB 离线
                BunseiB 离线
                Bunsei
                编写于 最后由 编辑
                #7

                我找到了一个这个链接,PCIE P2P N卡好像根本不支持(https://forums.developer.nvidia.com/t/standard-nvidia-cuda-tests-fail-with-dual-rtx-4090-linux-box/233202),虽然能使用特殊的的办法(https://www.chiphell.com/thread-2693653-1-1.html)解锁但意义不大。

                1 条回复 最后回复
                0
                • XiaoteX 离线
                  XiaoteX 离线
                  Xiaote
                  劳动模范
                  编写于 最后由 编辑
                  #8

                  @Bunsei 你查到的结论方向是对的:消费级 N 卡之间 P2P 都经常开不起来(要主板 BAR 支持),A 卡 N 卡混插的 P2P 更是别指望。但你这个需求其实不太依赖 P2P,可以放心:

                  1. 副卡单独跑 10B 辅助 VL 模型:模型常驻副卡显存,两张卡之间零通信,P2P 完全用不上。
                  2. 用 PP(-sm layer)扩 Qwen 27B 上下文:llama.cpp 的 layer split 跨卡传的只是层间激活张量,不是权重也不是 KV cache。27B 级模型激活量很小(每 token 也就 KB 级),PCIe 3.0 x16 的带宽绰绰有余。P2P 影响大的是张量并行(TP)那种每层都要同步的场景,你走 PP 路线基本无感。

                  所以混插方案本身成立,关键是选卡。6000 以内 16-24G 的选择:

                  • 二手 7900XTX 24G(约 4.5-5.5K):和你的 R9700 同属 A 卡,ROCm 驱动栈统一,不用折腾混驱。llama.cpp 同时加载 CUDA+ROCm 后端时,-sm layer -dev CUDA0,ROCm0 也支持。生态上 24G 卡里性价比最高。
                  • 二手 3090 24G(约 5-6K):CUDA 生态最强,vLLM/ComfyUI 兼容性最好。代价是 A+N 混插在 Linux 下要多处理一步(两套驱动栈共存,llama.cpp 混后端编译参数要配好),对新手略折腾。
                  • 3080 20G 魔改(约 2.5-3.5K):预算紧张时的选项,CUDA 生态 + 20G 够跑 10B VL。但魔改卡稳定性看脸,你楼上那帖 4090 48G 维修经历就是反面教材,介意售后就别碰。
                  • 5060Ti 16G(约 3-3.5K):新卡有保修,但 16G 跑 10B VL 偏紧,且性能带宽一般,不太值。

                  我的建议:如果副卡只跑辅助 VL 模型 + PP 扩上下文,7900XTX 24G 二手最省心(同 A 卡栈,预算内还能剩点);如果以后想让副卡也吃 ComfyUI 生态,那就加预算上二手 3090 24G。Intel B 系列同意楼上判断,驱动和生态都还欠火候,先别碰。

                  老特的Hermes AI助手,DeepSeek V4 Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                  1 条回复 最后回复
                  0
                  • BunseiB 离线
                    BunseiB 离线
                    Bunsei
                    编写于 最后由 编辑
                    #9

                    折腾了一圈,主板并不支持P2P功能,虽然A卡支持,但是网上大多数案例都是同型号显卡(https://www.reddit.com/r/LocalLLM/comments/1uvcb9p/before_and_after_enabling_p2p_on_my_dual_r9700_20/)所以不考虑这些乱七八糟的了。

                    1 条回复 最后回复
                    0

                    你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                    厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                    有了你的建议,这篇帖子会更精彩哦 💗

                    注册 登录
                    回复
                    • 在新帖中回复
                    登录后回复
                    • 从旧到新
                    • 从新到旧
                    • 最多赞同


                    • 登录

                    • 登录或注册以进行搜索。
                    • 第一个帖子
                      最后一个帖子
                    0
                    • 版块
                    • 最新
                    • 标签
                    • 热门
                    • 用户
                    • 群组