抡锤者

@翻译帮帮 AMD的話還是慢慢等UDNA出吧, 目前基本上所有普通人會用到的都針對CUDA / RDNA 2+ Wavefront 64架構支援太偏科了 (簡稱為WAVE) VEGA / GCN / CDNA 基本上都跑在WAVE64, 因爲是專門針對寬向量所以只面向高精度的科學計算進行優化 (流體力學和分子動力之類的), 專精都是FP32甚至FP64 對於市面上大多東西都不能完全發揮實力, 向量運算也都沒有優化, 畢竟市面最多都是跑到FP16 支援度比較好的RDNA 2 (RX 6000系列), RDNA 3 (RX 7000系列), RDNA 4 (RX 9000系列)都是跑在WAVE 32

@Luke-Mao 其实也没什么，你就让Hermes帮你重新编译llamacpp就可以了。编译的过程当中开启WMMA，之后是用系统原生服务跑还是docker跑都可以。效果没差。

台灣連鎖賣場賣價! 賺了賺了

24G只能跑5秒，并且还要分块，480P的到可以跑1-2分多钟，但是出作品了，最后还是要放大操作，时间浪费得是2-3倍。24G最合适就是qwen3.6 27B Hermes,小企业用用，自动回复，，

分享教程搭配下截图，不然容易被谷歌判定为AI垃圾，论坛被丢入沙盒了，搜索流量暴跌，站内搜索功能都受到影响了。

@abaalei 了解了一下，好像是一个ai BGM 生成，不错涨知识了，感谢

@abaalei 不管是卡问题还是驱动问题，反正 amd 用起来体验感就是差，用ROCm 7.2 驱动，r9700，非常卡，核心莫名满载，没任务也能满载跑很久，换为Vulkan 驱动，要好了不少，但是同 token 输出的情况下，N 卡要丝滑多，N 卡的核心占用和任务是同步的！amd 是有异常的，模型输出完成后，还要跑很久，核心占用才释放

@abaalei 刚找到原因：Z-image/qwen_3_4b_fp8_mixed.safetensors，换成Z-image/qwen_3_4b.safetensors就好了。也测试了一下V4版的Z-Image-Turbo文生图工作流，也是同样的问题——不能用Z-image/qwen_3_4b_fp8_mixed.safetensors。

不信的只有自己实践了才能信，35B,A3B，大概就是6B的速度，质量嘛，大概15B。 其实有个简单的判断方法，你给它配好harnness工具，然后让它写一些复杂点的小游戏。然后观察nvtop曲线。 就算你调好参数，让它能满载跑，它写程序也是写100行，过一会儿删80行， 电力和时间就这样被浪费了。 它只适合做一些简单的任务编排，但是这样的任务,deepseek flash就能做了，也便宜。 [image: 5e14f9c2-0fbf-4d55-93c8-360fc1a4924e.jpeg] 这个模型唯一优点的就是刚开始像打了鸡血一样快。140T/S，中后期会掉到80，比较难受。 （我一直用0.6温度， 不然后期智力下降厉害） 。

@ken chan 好问题！我来逐个回答： 1. 跑27G稠密模型还是量化模型？ R9700 32G 跑 Qwen3.6-27B 的话，推荐 Q4_K_M 量化版。原因是 256K 上下文的 KV Cache 会吃掉大量显存：27B 模型在 256K 上下文下，KV Cache 约需要 10-12GB（取决于量化精度），加上模型本身 Q4_K_M 约 15-16GB，总共约 26-28GB。稠密版 fp16 光模型就 54GB，根本放不下。Q4_K_M 量化后质量损失很小（perplexity 损失不到 0.5%），是性价比最高的选择。 2. ROCm 还是 Vulkan？ Ubuntu 下首选 ROCm。ROCm 对 Radeon 的优化更成熟，数学库（rocBLAS、rocSPARSE）性能比 Vulkan 后端好 20-40%。R9700 对应的 gfx 代号是 gfx1102（Navi 31），ROCm 6.x 及以上直接支持。Vulkan 后端（llama.cpp 的 Vulkan 分支）虽然不用装 ROCm 驱动栈，但推理速度明显慢一截。 3. 推理框架推荐 llama.cpp + ROCm 后端是目前最成熟的方案。社区支持最广，文档最多，遇到问题好排查。vLLM 虽然吞吐高但配置复杂，对单卡单用户场景没有明显优势。 4. 部署教程 目前的部署流程确实比较零散，不过几个关键资源： llama.cpp 官方 Wiki 有 ROCm 构建指南（llama.cpp/docs/build/amd.md） 论坛里搜"7900XTX"+"部署"有很多作业帖可以参考 核心步骤：装 ROCm → clone llama.cpp → 用 cmake -DCMAKE_C_COMPILER=hipcc .. 编译 → 下载 GGUF 模型 → 运行 建议先装 ROCm 6.x，然后 git clone llama.cpp 用 HIP 后端编译，搞定了再慢慢调优推理参数。有问题随时问！

@applejuice 现在肯定没有，会有的

新机器装完后，因为看球太累了。停了一天，啥也没干，考虑是上手玩玩还是继续把硬件弄完，后来决定，一步搞完，不隔靴搔痒了。今天早上收到第二块r9700，然后插上去，开机，基本正常，唯一的小插曲是GPU-z时，第二块显卡掉到了pcle1.0链路上了，还弹出AMD 驱动检测显示驱动异常，一顿折腾测试，occt测试，HWiNFO检测，后来确定两块显卡都在pcle5.0上，单卡，双卡，VRAM、3DADAPTIVE测试都没有问题，噪音还可以。上图，硬件告一段落，下阶段研究软件啦。 [image: dd51496a-fe3f-436e-bec9-ac1caaa839a6.png] [image: 950f65da-92e5-4e10-9f38-cc510f116805.png] [image: e1cdcb10-f446-4ab1-8960-51f1d87c7973.png] [image: 372acf0c-d2b1-4e8f-af1d-09a9205fe995.jpg]

目前的硬件价格看兜里的子弹选就行了。

@ken-chan 说: @GH-Y 好的，谢谢；我总算了解了一番，买了X99洋垃圾，够用了 ddr3 都不会贵 基本上单卡够用 当你觉得不够的时候 就是你明白需求的时候了 那时候x99 ddr3 丢弃也不可惜

@566656661 设个api就好了

[image: 8e9f89e3-11ca-4431-841d-2375c9db6d93.jpeg] [image: 4548cba3-7c58-489f-a81d-b770ccd9b1fd.jpeg]

笑死, 5090Dv2沒人買 如果是原價16K港幣還滿香的, 不過現在漲到21K就臭到不行, 直接買Pro 4500

想搞台铭凡N5 PRO,來跑樓主的方案

@gg-lib 我在用Ryzen 395啊。395跑qwen3.6 35b a3b模型给hermes 当基础主模型用，开一些cron定时任务，可以干。主要待机省电。 我有很多文字处理和RAG的任务要做，专业微调模型、翻译模型、嵌入模型、视觉识别模型都跑在395上，128GB统一内存开GTT的话，VRAM可以用到～122GB。很多模型可以一直加载着，随时可以用。我觉得395适合需要单人的多开模型的场合，当然算力还是有限、没法并行。 当然395的确不快，尤其是prefill实在是让人着急。hermes-agent正常任务或者长上下文的话我会用另外的7900 XTX跑qwen 27b。

可以，你可以试下看看Rocm7.2，是不是效果更好点，驱动版本。包可以使用6.3的，7.2的包不完整。