Llama.cpp如何上传图片

[linax777]

重點是要加載 mmproj 文件，以下是我使用的容器 docker-compose 文件，可以參考 command:
services:
llama-cpp:
image: ghcr.io/ggml-org/llama.cpp:server-cuda
container_name: llama-cpp-cuda
ports:
- "8080:8080"
volumes:
- ~/models:/models
command:
- -m
- /models/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf
- --alias
- Qwen3.6-27B-Q4_K_P
- --host
- 0.0.0.0
- --port
- "8080"
- --mmproj
- /models/mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf
- --n-gpu-layers
- "999"
- --jinja
- --ctx-size
- "131072"
- --chat-template-kwargs
- '{"enable_thinking": false}'
- --metrics
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]

[terry]

@linax777 非常好，刚准备来更新回答，这个就是标准答案了。

[ike yu]

老哥，llama.cpp跟lm-studio會差很多嗎？還是選個自己用的上手的就好了

[terry]

@ike-yu 你只要跑起来差距不大，你怎么方便怎么来，先跑起来再对比。

[墙内人]

@linax777 民间大神多

[Tide]

你们用过win的lmstudio很吃内存吗？Ubuntu里安装lmstudio这个问题好些吗？

[terry]

linux下没看出来会吃内存，资源消耗正常。

[stakira]

@Tide 说:

很吃内存

LM studio 节省资源的推荐配置

第1项修改减少并发数减少显存使用，第2、3项修改减少内存使用，后面两项修改量化kv cache减少显存使用

[terry]

@stakira 很好，该优化的都优化了。

[Tide]

stakira 谢谢，我试试。

[bily j]

这个图片识别是不是跟模型有关，qwen3.6-27B我问AI说Q4.GGUF是文本模型，让我下载带VL的，我下载了确实能识别
，也不知道是量化作者脱了图片识别能力还是模型本身就不支持

[terry]

@bily-j 同样的模型，文件，lmstudio就支持，所以和模型文件格式无关，就是要mmproj