<![CDATA[VLLM塞不下模型]]>小弟目前是在Windows環境用ollama跑龍蝦雲端跟本地
原本是想用Qwen3.5雲端幫忙安裝VLLM跑Qwen3.6 27b Q4
再把龍蝦整個移植進去
但是一直回報說32gb沒辦法容納Qwen3.6 27b Q4模型
請問有大哥跑通的嗎
拜託指導一下 感恩~

以下是小弟的設備
處理器 12th Gen Intel(R) Core(TM) i7-12700K (3.60 GHz)
已安裝記憶體(RAM) 128 GB (128 GB 可用)
圖形卡 NVIDIA RTX PRO 4500 Blackwell (32 GB)
儲存體 已使用 1.18 TB/2.75 TB

]]>https://lcz.me/topic/48/vllm塞不下模型RSS for NodeWed, 20 May 2026 07:04:19 GMTThu, 07 May 2026 12:29:37 GMT60<![CDATA[Reply to VLLM塞不下模型 on Fri, 08 May 2026 13:59:27 GMT]]>好的 謝謝指導~

]]>https://lcz.me/post/556https://lcz.me/post/556Fri, 08 May 2026 13:59:27 GMT<![CDATA[Reply to VLLM塞不下模型 on Fri, 08 May 2026 01:49:59 GMT]]>上下文开太长了，vllm建议用awq，32g够跑了，24g的话只能玩玩gguf

]]>https://lcz.me/post/507https://lcz.me/post/507Fri, 08 May 2026 01:49:59 GMT<![CDATA[Reply to VLLM塞不下模型 on Thu, 07 May 2026 15:01:16 GMT]]>好的，謝謝大哥 我試看看

]]>https://lcz.me/post/476https://lcz.me/post/476Thu, 07 May 2026 15:01:16 GMT<![CDATA[Reply to VLLM塞不下模型 on Thu, 07 May 2026 14:38:38 GMT]]>KV cache 也要吃 VRAM 啊 ，gpu-memory-utilization 要設定夠高，VRAM 不夠 max_model_len 就不能設定太大

]]>https://lcz.me/post/473https://lcz.me/post/473Thu, 07 May 2026 14:38:38 GMT<![CDATA[Reply to VLLM塞不下模型 on Thu, 07 May 2026 22:31:19 GMT]]>你要不懂Linux下载一个lmstudio 或者llama.cpp，5090足够驱动模型，龙虾不能装在模型的宿主机，会搞坏环境，你的电脑性能不错，可以装个虚拟机，带UI的ubuntu，把openclaw或者Hermes放进去

]]>https://lcz.me/post/466https://lcz.me/post/466Thu, 07 May 2026 22:31:19 GMT