7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享

[Fred]

@Miraco 说:

@Fred 感谢您的指点。

不客气哈，论坛嘛就是自己知道点啥有空就贡献贡献。
其实目前不建议除了prefill变慢，不支持多并发之外，还有个原因就是目前llama.cpp这个MTP分支还不支持--mmproj参数，不能支持图片识别。相当于没有多模态的能力了。如果对图片识别有需求的场景就根本无法用。
当前社区大神还在做一个抽象层框架，把这些spec-decoding的技术都抽象出来，以便后续陆续在同一个框架内合入MTP/DFLASH这一类的功能。这些事情做完之前还不会合并。PR只是给爱折腾，有技术能力的兄弟尝尝鲜的。

[Leon Y]

我搞了个7900 XT 20GB, 用ollama 在跑qwen3.6:27b-q8_0，感觉很慢

[terry]

@Leon-Y 显存是不是溢出了？

[Leon Y]

@terry 没有溢出，但极其接近100。目前96.4% 使用率，空闲不到 750 MB。系统日志也没有 GPU OOM 报错。

[David Zhang]

@Leon-Y ollama是个玩具不是工具，换llama.cpp或者 vllm

[Leon Y]

@David-Zhang 说:

@Leon-Y ollama是个玩具不是工具，换llama.cpp或者 vllm

果然上了llama.cpp，速度起飞，显卡风扇狂吼。

[asdqwe876]

22673测试下来windows下概率崩溃,找不到原因

[xiaopbro]

牛啊，大佬，学习了

[Chang Ching-Chun]

感謝大神分享！好人一生平安

[terry]

@Devin-Hi 改了之后呢？改进如何？我也想抄作业了。

[张鑫磊]

@david-zhang Qwen3.6-27B-Q4_K_M-mtp.gguf这个是不是只有huggingface上有modelscope上找不到

[David Zhang]

有，但是huggingface会更多