抡锤者

@hotpigwk 你是卖V100的吧？

显卡20G是最痛苦的，跑Qwen9B够了，模型是玩具，跑27BQ4，上下文太短了，不开视觉也勉强开到64K上下文，量存随时随地OOM，就像我昨天的16G内存

现在32G内存，跑通了，加了视觉模型，96K上下文Q8量化，内存很稳。热点没超过103度，基本成功。

悲剧了，内存不够，跑64k上下文显存没问题，内存溢出了，llama.cpp自动退了，

@terry 上下文如果卸载到内存就失败了，怎么搞都要想办法全弄显存里，内存多少都够。

cpu 8100T 300元三件
主板：asus B360M-A 0
内存： ADAT DDR4-2400 8GX2 300元
SSD: 128G 0
显卡：XFX 凤凰涅槃 9700XTX 24G 4399元
电源：长城F8 850W 406元
机箱：追风者XTM3 175元
总价：5580元
今天测试了所有配件没问题，装上了ubuntu server版，弄好了docker，等明天机箱到货了就安装好来部署qwen3.6-27B

@Devin-Hi 好像qwen3.6-27b必须开--mmproj 支持视觉路由，不然推理速度有损失，还有您这个配置文件没加-ngl 999把模型全部加载入显存。