R9700 配什么副卡比较合适?
-
大佬们好,小弟目前的主卡是 AMD Radeon AI PRO R9700,想再配一张 16~24GB 显存的副卡,预算 6000 元以内,主要用于承担工作流中的其他任务(单独运行一个 10B 左右的辅助 VL 模型)或者是通过PP来提高Llama.cpp Qwen 27B模型的上下文。
最近看到社区中已经有通过 llama.cpp 同时加载 CUDA 和 ROCm 后端,让 N 卡与 A 卡使用 --split-mode layer 实现 Pipeline Parallelism 的案例,例如:
-sm layer -dev CUDA0,ROCm0 -ts 2,1
不过,小弟也在咱们论坛看到其他大佬提到,PCIe P2P 可以减少显卡之间经由系统内存中转的通信开销,因此想进一步了解这种方案在我的平台上是否可行。
我的主板是铭瑄 MS-iCraft B850 AIGA,使用 DDR5 (24GBx2)。官方说明书标注,搭配 Ryzen 7000/9000 时,两条全长显卡槽均来自 CPU,开启通道拆分后支持 PCIe 5.0 ×8/×8。
目前考虑以下几个方向:
1、RDNA 4 16GB:与 R9700 架构接近,ROCm 环境更统一;
2、RDNA 3 20/24GB:显存性价比更高,但会运行在 PCIe 4.0 ×8;
3、NVIDIA 16/24GB:可以补充 CUDA 生态,但跨厂商通信更复杂;
4、Intel 16/24GB:如果价格和显存合适也可以接受,但不确定相关工作流及 llama.cpp 多卡兼容性如何。
想请教各位大佬:
像开启PCIE P2P能力需要主板支持吗?该如何确认自己的主板是否支持?
预算 6000 元以内,副卡的选择更推荐 RDNA 4、RDNA 3、NVIDIA 还是 Intel?
R9700 与不同型号、不同代的 AMD 显卡能否实现 PCIe P2P,还是必须使用同型号显卡?
AMD+NVIDIA 在 llama.cpp 下运行 layer PP 是否稳定?跨厂商通信是否只能经过系统内存?
下面是小弟参考的 R9700 相关讨论:
https://www.reddit.com/r/LocalLLaMA/comments/1viq0pq/qwen36_27b_35b_on_vllm_single_r9700_gfx1201/
-
闲鱼 二手吧。我的7900出了。不然可以帮帮你。
-
-
闲鱼 二手吧。我的7900出了。不然可以帮帮你。
-
@Bunsei 你查到的结论方向是对的:消费级 N 卡之间 P2P 都经常开不起来(要主板 BAR 支持),A 卡 N 卡混插的 P2P 更是别指望。但你这个需求其实不太依赖 P2P,可以放心:
- 副卡单独跑 10B 辅助 VL 模型:模型常驻副卡显存,两张卡之间零通信,P2P 完全用不上。
- 用 PP(-sm layer)扩 Qwen 27B 上下文:llama.cpp 的 layer split 跨卡传的只是层间激活张量,不是权重也不是 KV cache。27B 级模型激活量很小(每 token 也就 KB 级),PCIe 3.0 x16 的带宽绰绰有余。P2P 影响大的是张量并行(TP)那种每层都要同步的场景,你走 PP 路线基本无感。
所以混插方案本身成立,关键是选卡。6000 以内 16-24G 的选择:
- 二手 7900XTX 24G(约 4.5-5.5K):和你的 R9700 同属 A 卡,ROCm 驱动栈统一,不用折腾混驱。llama.cpp 同时加载 CUDA+ROCm 后端时,-sm layer -dev CUDA0,ROCm0 也支持。生态上 24G 卡里性价比最高。
- 二手 3090 24G(约 5-6K):CUDA 生态最强,vLLM/ComfyUI 兼容性最好。代价是 A+N 混插在 Linux 下要多处理一步(两套驱动栈共存,llama.cpp 混后端编译参数要配好),对新手略折腾。
- 3080 20G 魔改(约 2.5-3.5K):预算紧张时的选项,CUDA 生态 + 20G 够跑 10B VL。但魔改卡稳定性看脸,你楼上那帖 4090 48G 维修经历就是反面教材,介意售后就别碰。
- 5060Ti 16G(约 3-3.5K):新卡有保修,但 16G 跑 10B VL 偏紧,且性能带宽一般,不太值。
我的建议:如果副卡只跑辅助 VL 模型 + PP 扩上下文,7900XTX 24G 二手最省心(同 A 卡栈,预算内还能剩点);如果以后想让副卡也吃 ComfyUI 生态,那就加预算上二手 3090 24G。Intel B 系列同意楼上判断,驱动和生态都还欠火候,先别碰。
-
折腾了一圈,主板并不支持P2P功能,虽然A卡支持,但是网上大多数案例都是同型号显卡(https://www.reddit.com/r/LocalLLM/comments/1uvcb9p/before_and_after_enabling_p2p_on_my_dual_r9700_20/)所以不考虑这些乱七八糟的了。