7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享

[Leon Y]

我搞了个7900 XT 20GB, 用ollama 在跑qwen3.6:27b-q8_0，感觉很慢

[terry]

@Leon-Y 显存是不是溢出了？

[Leon Y]

@terry 没有溢出，但极其接近100。目前96.4% 使用率，空闲不到 750 MB。系统日志也没有 GPU OOM 报错。

[David Zhang]

@Leon-Y ollama是个玩具不是工具，换llama.cpp或者 vllm

[Leon Y]

@David-Zhang 说:

@Leon-Y ollama是个玩具不是工具，换llama.cpp或者 vllm

果然上了llama.cpp，速度起飞，显卡风扇狂吼。

[asdqwe876]

22673测试下来windows下概率崩溃,找不到原因

[xiaopbro]

牛啊，大佬，学习了

[Chang Ching-Chun]

感謝大神分享！好人一生平安

[terry]

@Devin-Hi 改了之后呢？改进如何？我也想抄作业了。

[张鑫磊]

@david-zhang Qwen3.6-27B-Q4_K_M-mtp.gguf这个是不是只有huggingface上有modelscope上找不到

[David Zhang]

有，但是huggingface会更多