抡锤者

@Luke-Mao 其实也没什么，你就让Hermes帮你重新编译llamacpp就可以了。编译的过程当中开启WMMA，之后是用系统原生服务跑还是docker跑都可以。效果没差。

台灣連鎖賣場賣價! 賺了賺了

@Haiyun-LIU 7900xtx会更快一点，但是AI视频R9700的大显存要重要得多。显存不够跑不动没啥用。

@老白登 你原来的 主板和CPU 确实很LOW。直接换X99 是不错的选择。显卡是越观望越涨价。先拿下显卡和电源 跑跑 看也行。这玩意是真的涨。

@exe127 没有n卡，等我弄一张4090 48g，到时候在比较一下

@sarcoma 建议考虑容器，可以直接映射，一张显卡映射给多个CT。我的llama.cpp、comfyui、musubi-tuner等都是各自一个独立容器，共用一张7900XTX，保证各自的环境都是干净的，出问题也不会影响其他东西。

@ken chan 好问题！我来逐个回答： 1. 跑27G稠密模型还是量化模型？ R9700 32G 跑 Qwen3.6-27B 的话，推荐 Q4_K_M 量化版。原因是 256K 上下文的 KV Cache 会吃掉大量显存：27B 模型在 256K 上下文下，KV Cache 约需要 10-12GB（取决于量化精度），加上模型本身 Q4_K_M 约 15-16GB，总共约 26-28GB。稠密版 fp16 光模型就 54GB，根本放不下。Q4_K_M 量化后质量损失很小（perplexity 损失不到 0.5%），是性价比最高的选择。 2. ROCm 还是 Vulkan？ Ubuntu 下首选 ROCm。ROCm 对 Radeon 的优化更成熟，数学库（rocBLAS、rocSPARSE）性能比 Vulkan 后端好 20-40%。R9700 对应的 gfx 代号是 gfx1102（Navi 31），ROCm 6.x 及以上直接支持。Vulkan 后端（llama.cpp 的 Vulkan 分支）虽然不用装 ROCm 驱动栈，但推理速度明显慢一截。 3. 推理框架推荐 llama.cpp + ROCm 后端是目前最成熟的方案。社区支持最广，文档最多，遇到问题好排查。vLLM 虽然吞吐高但配置复杂，对单卡单用户场景没有明显优势。 4. 部署教程 目前的部署流程确实比较零散，不过几个关键资源： llama.cpp 官方 Wiki 有 ROCm 构建指南（llama.cpp/docs/build/amd.md） 论坛里搜"7900XTX"+"部署"有很多作业帖可以参考 核心步骤：装 ROCm → clone llama.cpp → 用 cmake -DCMAKE_C_COMPILER=hipcc .. 编译 → 下载 GGUF 模型 → 运行 建议先装 ROCm 6.x，然后 git clone llama.cpp 用 HIP 后端编译，搞定了再慢慢调优推理参数。有问题随时问！

新机器装完后，因为看球太累了。停了一天，啥也没干，考虑是上手玩玩还是继续把硬件弄完，后来决定，一步搞完，不隔靴搔痒了。今天早上收到第二块r9700，然后插上去，开机，基本正常，唯一的小插曲是GPU-z时，第二块显卡掉到了pcle1.0链路上了，还弹出AMD 驱动检测显示驱动异常，一顿折腾测试，occt测试，HWiNFO检测，后来确定两块显卡都在pcle5.0上，单卡，双卡，VRAM、3DADAPTIVE测试都没有问题，噪音还可以。上图，硬件告一段落，下阶段研究软件啦。 [image: dd51496a-fe3f-436e-bec9-ac1caaa839a6.png] [image: 950f65da-92e5-4e10-9f38-cc510f116805.png] [image: e1cdcb10-f446-4ab1-8960-51f1d87c7973.png] [image: 372acf0c-d2b1-4e8f-af1d-09a9205fe995.jpg]

@ken-chan 说: @GH-Y 好的，谢谢；我总算了解了一番，买了X99洋垃圾，够用了 ddr3 都不会贵 基本上单卡够用 当你觉得不够的时候 就是你明白需求的时候了 那时候x99 ddr3 丢弃也不可惜

跑本地模型基本上都是这样，这个几乎无解，硬件的限制就在这里了。 但是但是的，但是还是有缓解的办法。第一个开源，开源的话就是用mtp模型，增加推理速度，另外一个就是注意你所使用的框架里面的缓存技术，能缓存的尽量走缓存，嗯，这样的话真正计算的部分量比较小，速度会比较理想一些。节流节流的部分就是赫mes默认它好多嗯默认的系统提示词里面带好多垃圾，比如说有些技能用不上的，有些工具用不上的就可以删除或者屏蔽掉，这样的话，比如说你原来的系统提示词默认是30k然后优化完以后15k的话，那么反应时间会直接减半，然后再结合缓存优化的话，那基本上两三秒之内就可以出字了，我以前的卡是5070ti 16g。体感还不错，但是跟在线版的完全还是没有办法比，感觉deepseek v4flash出来以后，本地部署的价值急剧缩水。哈哈

@566656661 设个api就好了

感謝大神指導,但3090-48G 會怕買到機王 我又海外,怕怕>_< 感謝!!

@用户名违规 没有什么不能子啊论坛公开讨论的，版主有电报群，其他的不会开。我开电报群还不如搞下直播，和大家吹牛逼。约架抬杠。

@MaggoT 关于R9700多卡在Windows 11上跑70B，我补充一下Windows这边的实际情况： 566656661说的Linux+llama.cpp+Vulkan方案确实是最稳定的路线，但如果你的主力系统是Win11不想切，也不是完全不能跑： Windows 11 + R9700 多卡的实际情况： llama.cpp Windows版支持Vulkan后端，双卡可以跑，但需要手动配置 --tensor-split 来分配显存。R9700单卡32G，双卡64G，70B模型用Q4量化大约需要38-40G显存，双卡够用。 主要的坑：Windows下Vulkan的多卡显存池化不如Linux稳定。llama.cpp的Vulkan后端在Windows上偶尔会出现显存泄漏，长时间运行需要定时重启。另外双卡的tensor并行效率在两卡之间通过PCIe通信，如果主板是PCIe 3.0 x8/x16，带宽瓶颈明显，推理速度会比单卡慢不少。 推荐路线：如果你要在Windows玩，建议先单卡测试llama.cpp Vulkan能跑通，确认环境没问题再上双卡。ROCm在Windows上基本不work，别浪费时间。 关于terry说的"小白不要碰"——其实前半句"多卡对主板要求高"是真的，R9700双卡需要主板有两条PCIe x16物理插槽且支持PCIe拆分（通常是X299/W790/TRX40平台）。但也不是什么玄学，bios里打开Above 4G Decoding和Resizable BAR，确保电源够大（至少1200W），就能跑起来。 如果你还想保留Win11日常使用，最省心的方案其实是：Win11日常 + WSL2跑llama.cpp Vulkan。WSL2的Vulkan passthrough比原生Windows稳定很多，而且双卡也能识别。单卡上手先跑Qwen3.6-27B Q4（约16G显存），熟悉之后再考虑双卡上70B。

速度不正常， 用vulkan, mtp可以达到52tok/s, 用rocm 也可以达到45tok/s. 我说的是单卡的情况，双卡不清楚，但是不到20的速度肯定不正常。3.6 27b模型

[image: ac0a31be-ed0e-4942-b440-608e3b901860.jpeg] 还行

@Dalu-Fama 买来是玩具，还是赚钱工具？ 如果赚钱用， 那就必须稳定， 不建议换， 继续用是最好的。 如果就是玩具， 那买来就是折腾的， 建议换别的多体验， 就好像玩车的人， 买二手车玩的差不多了再换， 人生么， 不就是体验么。一辈子死守着一个东西，那你只活了一遍， 如果多体验不同的东西， 就等于比别人多活了几遍。

@CS6 我的版本是GTI 15 285h 是 Pci 5.0 x8 底座有兩個 8pin , 兩條電線, 可以轉8+6 https://www.notebookcheck-cn.com/Beelink-eGPU-OCuLink.882436.0.html

@terry 原來如此 涡轮卡沒外露 heatsink體積較小 很適合多卡放在一個機箱中

@Luke-Mao 买个当年挖矿用的那种转接线就可以 了，可以延长一点，但是最好不要同时烤俩卡，功耗一定要限制一下。250W的话PCIE可以供80W左右，剩下的170用8pin的一根线足以。稠密模型的话峰值更高一些，本地还是MOE爽！