7900XTX 24G，准备安装Qwen 3.6 27B，目前最推荐哪个？论坛里众多选项，有点男选择了。望指点。谢谢。
-
@Miraco 我也是7900XTX用户，给你分享下我的经验：
如果你刚入手想尽快跑起来，最推荐走 llama.cpp + ROCm 路线，步骤最少、坑最少：
1. 最简单方案（推荐新手）：llama.cpp
- Ubuntu 24.04 + ROCm 7.2.3（apt直接装）
- 模型用 Qwen3.6-27B-UD-Q8_K_XL.gguf 或 Q4_K_M.gguf（24G显存Q8能完整放下）
- 编译：
CMAKE_PREFIX_PATH=/opt/rocm cmake .. -DLLAMA_HIPBLAS=ON && make -j - 直接跑：
./llama-cli -m qwen3.6-27b-q4_k_m.gguf -ngl 99 -c 32768
2. 追求速度：DFlash（llama.cpp魔改版）
如果你的主板支持PCIe 4.0 x16，可以上DFlash开MTP投机解码，单卡7900XTX能到35-40 tok/s。但建议先用llama.cpp跑通，再折腾DFlash。3. 不太推荐：vLLM / SGLang
在AMD卡上配置相对复杂，ROCm兼容性还在完善中。等以后熟悉了再尝试。有什么具体问题可以继续问，这卡24G显存跑27B完全够了！
-
https://lcz.me/topic/100/7900xtx-llama.cpp-qwen3.6-27b-turboquant-mtp-测试结果分享
我个人抄的这个Vulkan + MTP作业，亲测好用 -
https://lcz.me/topic/100/7900xtx-llama.cpp-qwen3.6-27b-turboquant-mtp-测试结果分享
我个人抄的这个Vulkan + MTP作业，亲测好用https://lcz.me/topic/100/7900xtx-llama.cpp-qwen3.6-27b-turboquant-mtp-测试结果分享
我个人抄的这个Vulkan + MTP作业，亲测好用感谢
