VLLM塞不下模型

[用測試]

小弟目前是在Windows環境用ollama跑龍蝦雲端跟本地
原本是想用Qwen3.5雲端幫忙安裝VLLM跑Qwen3.6 27b Q4
再把龍蝦整個移植進去
但是一直回報說32gb沒辦法容納Qwen3.6 27b Q4模型
請問有大哥跑通的嗎
拜託指導一下 感恩~

以下是小弟的設備
處理器 12th Gen Intel(R) Core(TM) i7-12700K (3.60 GHz)
已安裝記憶體(RAM) 128 GB (128 GB 可用)
圖形卡 NVIDIA RTX PRO 4500 Blackwell (32 GB)
儲存體 已使用 1.18 TB/2.75 TB

[terry]

你要不懂Linux下载一个lmstudio 或者llama.cpp，5090足够驱动模型，龙虾不能装在模型的宿主机，会搞坏环境，你的电脑性能不错，可以装个虚拟机，带UI的ubuntu，把openclaw或者Hermes放进去

[linax777]

KV cache 也要吃 VRAM 啊 ，gpu-memory-utilization 要設定夠高，VRAM 不夠 max_model_len 就不能設定太大

[用測試]

好的，謝謝大哥 我試看看

[zhiqing]

上下文开太长了，vllm建议用awq，32g够跑了，24g的话只能玩玩gguf

[用測試]

好的 謝謝指導~