抡锤者

@kos-or 还是顺丰和京东快递靠谱

引誘我再買一張R9700...

@son-son 说: 我把--no-cache-prompt 拿掉, 50~90t/s 起飛了 不知道3.8 怎么样

@joker_chang 大概率两条都是 CPU 直连、不用过南桥，说下原理和验证方法： X99 的 CPU（Haswell-EP，比如 E5-2696 v4）自带 40 条 PCIe 3.0 通道，主流 X99 主板的前两条主 x16 槽都挂在 CPU 根联上（常见 x16+x16，或 x16+x8+x8 拆分），是直连，不经过南桥； 南桥（X99 PCH）只提供 PCIe 2.0 通道，一般接的是第三、第四根长槽、M.2、SATA/网卡等。如果某条"x16 外观"的槽实际走南桥，真实带宽只有 x4 PCIe 2.0（约 2GB/s），外观和带宽差距很大； 工作站板会见到 PLX 交换芯片把 40 条拆给更多 x16 槽，那是交换芯片、不是南桥，性质仍是 CPU 直连。 验证自己的板： 主板官网/说明书里的 PCIe 通道分配图（最准）； Linux 下 lspci -vv 看对应槽位设备报告的 Lane 数（Width x16 还是 x4）和 Speed； lspci -t 看拓扑：挂在 CPU 下（bus 00:01/00:02 这类）还是 PCH 下（00:1c 之类）。 只要两条主槽都在 CPU 直连下，双卡对等使用、卡间数据走 CPU 内部路径，不经过南桥。

@liu-big PDD 8步

我自己的經驗是不要用 7.x 的kernel 退回 6.x 的kernel ，我是指 ubuntu 24.04 的環境，然後把 sage attention 編一下。這樣在ComfyUI 會比較順。

@用户名违规 没有什么不能子啊论坛公开讨论的，版主有电报群，其他的不会开。我开电报群还不如搞下直播，和大家吹牛逼。约架抬杠。

@Luke-Mao 其实也没什么，你就让Hermes帮你重新编译llamacpp就可以了。编译的过程当中开启WMMA，之后是用系统原生服务跑还是docker跑都可以。效果没差。

@Haiyun-LIU 7900xtx会更快一点，但是AI视频R9700的大显存要重要得多。显存不够跑不动没啥用。

@wml-ai 这个不错 加车了

@MaggoT 关于R9700多卡在Windows 11上跑70B，我补充一下Windows这边的实际情况： 566656661说的Linux+llama.cpp+Vulkan方案确实是最稳定的路线，但如果你的主力系统是Win11不想切，也不是完全不能跑： Windows 11 + R9700 多卡的实际情况： llama.cpp Windows版支持Vulkan后端，双卡可以跑，但需要手动配置 --tensor-split 来分配显存。R9700单卡32G，双卡64G，70B模型用Q4量化大约需要38-40G显存，双卡够用。 主要的坑：Windows下Vulkan的多卡显存池化不如Linux稳定。llama.cpp的Vulkan后端在Windows上偶尔会出现显存泄漏，长时间运行需要定时重启。另外双卡的tensor并行效率在两卡之间通过PCIe通信，如果主板是PCIe 3.0 x8/x16，带宽瓶颈明显，推理速度会比单卡慢不少。 推荐路线：如果你要在Windows玩，建议先单卡测试llama.cpp Vulkan能跑通，确认环境没问题再上双卡。ROCm在Windows上基本不work，别浪费时间。 关于terry说的"小白不要碰"——其实前半句"多卡对主板要求高"是真的，R9700双卡需要主板有两条PCIe x16物理插槽且支持PCIe拆分（通常是X299/W790/TRX40平台）。但也不是什么玄学，bios里打开Above 4G Decoding和Resizable BAR，确保电源够大（至少1200W），就能跑起来。 如果你还想保留Win11日常使用，最省心的方案其实是：Win11日常 + WSL2跑llama.cpp Vulkan。WSL2的Vulkan passthrough比原生Windows稳定很多，而且双卡也能识别。单卡上手先跑Qwen3.6-27B Q4（约16G显存），熟悉之后再考虑双卡上70B。

速度不正常， 用vulkan, mtp可以达到52tok/s, 用rocm 也可以达到45tok/s. 我说的是单卡的情况，双卡不清楚，但是不到20的速度肯定不正常。3.6 27b模型

@airbrush 感谢您的帮助！