抡锤者

@墙内人 好像vllm+mtp在24G显卡上上下文是很短的

@墙内人 你的显卡是多少？

llama.cpp是不是要吃足他的上下文，是不是只要nvidia-smi只要没高于24就好了？AI配置这个上下文窗口一般都给的很保守

@大魔头 感觉没啥卵用

我上次是跟你在评论里讨论过，就是跑起来了，但是都碰到模型加载的问题，好像对gguf适配不行，要AWQ或者P开头的那个，但问题是那个模型比GGUF大，上次你跟我说vllm，sglang在4090-24G显卡里就不要考虑了，但是奈何45TOKEN等的蛋疼

这个图片识别是不是跟模型有关，qwen3.6-27B我问AI说Q4.GGUF是文本模型，让我下载带VL的，我下载了确实能识别
，也不知道是量化作者脱了图片识别能力还是模型本身就不支持

感觉我linux服务器上的4090-24G显卡好像也没突破限制阿 ，我是llama.cpp架构，该45token/s还是一样，奶奶的，你测试怎么样老特？36-27B养马香是香就是推理有点慢