<![CDATA[llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash !]]>llama.cpp 0.6.0 最新版出了， https://github.com/ggml-org/llama.cpp

增加了很多模型支持， 把本地几个大个子模型又跑了一遍， 感触颇深， 之前跑这几个模型， 要么需要专门的软件和架构， 要么需要单独编译PR， 要么需要跑 EXL3 版， 总之每个模型想正常跑起来还是很折腾 ， 现在 0.6.0 一出， 都可以直接跑， 毫无障碍， 改改启动参数就行了。

配置： 3090 24G+3080 20G， 128G DDR4 3600MHz

1、DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2-imatrix-0731.gguf

----跑出 20tok/s ， 实测对话编程都挺流畅的，虽然文件名是 IQ2, 但是核心部分还是 Q8的， 挺好用。

2、DeepSeek-V4-Flash-0731-UD-IQ3_S-00001-of-00004.gguf

----跑出 17tok/s

3、GLM-5.3-Flash-UD-IQ3_XXS-00001-of-00004.gguf

----跑出 12tok/s ， GLM好像优化的还不太好

不管怎么说， 这些之前认为的庞然大物，在我这种一般消费级的电脑上，可以跑起来了，也能较为流畅地进行交互，我觉得已够了，有时候大模型不一定是用来干重活儿的，可以把它当个知识库或者参谋来用，也挺好，这个时候我不需要它很快， 只要够聪明， 知识量够大就行了。

]]>https://lcz.me/topic/2159RSS for NodeMon, 12 Oct 2026 13:28:42 GMTWed, 07 Oct 2026 04:11:01 GMT60<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Fri, 09 Oct 2026 05:19:57 GMT]]>@johnnybegood 謝謝, 我先回去試一下. 我的這個現象就是OOM嗎? 不知為何生成token 也可以有~50左右. 感覺還算很可以

]]>https://lcz.me/post/23415https://lcz.me/post/23415Fri, 09 Oct 2026 05:19:57 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Fri, 09 Oct 2026 04:55:16 GMT]]>@exe127 -ngl 去掉 ， -fit 弄成on再试试

]]>https://lcz.me/post/23410https://lcz.me/post/23410Fri, 09 Oct 2026 04:55:16 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Fri, 09 Oct 2026 04:14:05 GMT]]>@johnnybegood
想請教一下,
我下載了: llama-b11475-bin-win-vulkan-x64
模型是: Qwen3.8-27B-UD-Q4_K_XL

命令:
@echo off
title Qwen3.8-27B XL 131K MTP
.\llama-server.exe -m .\models\Qwen3.8-27B-UD-Q4_K_XL.gguf --model-draft .\models\mtp-Qwen3.8-27B-Q4_0.gguf -dev Vulkan1 -ngl 99 --fit off -c 131072 -ub 256 --cache-type-k q4_0 --cache-type-v q4_0 -np 1 --spec-type draft-mtp --spec-draft-n-max 2 --flash-attn on --host 0.0.0.0 --port 8080 --jinja
pause

我在win11啟動模型後, 奇怪的是模型加載完成後, 會由VRAM搬到內存, VRAM此刻清零, 內存使用量暴升. 當發問問題時, VRAM才回升, 你可以看圖 ( System Memory 對比 Memory Used) , 是不是我的設定上有問題呢? 模型不能留在VRAM內. 我試過把上下文改成32k (將-c 131072 調整為 -c 32768) 情況同樣發生. 問了Gemini也解決不了. 謝謝大神幫忙

66ecb3b5-ab85-4074-b421-1175ce31de9b.png

]]>https://lcz.me/post/23405https://lcz.me/post/23405Fri, 09 Oct 2026 04:14:05 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Fri, 09 Oct 2026 01:01:33 GMT]]>@张光璞 Strata更新确实很勤~是好事哈~

]]>https://lcz.me/post/23378https://lcz.me/post/23378Fri, 09 Oct 2026 01:01:33 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Thu, 08 Oct 2026 16:59:36 GMT]]>@懒人烘培 俺也一样

]]>https://lcz.me/post/23353https://lcz.me/post/23353Thu, 08 Oct 2026 16:59:36 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Thu, 08 Oct 2026 09:35:23 GMT]]>

@stxpnet 说:

推上有人拿strata 说事,埋怨llama.cpp,vllm,sglang的人都在干嘛.

Strata 现在一天两更，太疯狂了。 我整了个计划任务自动抓取跟AMD 相关的性能优化，其他都略过。

]]>https://lcz.me/post/23268https://lcz.me/post/23268Thu, 08 Oct 2026 09:35:23 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Thu, 08 Oct 2026 09:01:22 GMT]]>我主力还是用SGLang，当然用strata也有部署

]]>https://lcz.me/post/23262https://lcz.me/post/23262Thu, 08 Oct 2026 09:01:22 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Thu, 08 Oct 2026 08:44:04 GMT]]>30以下真的不可用啊，开思考50以上才能接受

]]>https://lcz.me/post/23258https://lcz.me/post/23258Thu, 08 Oct 2026 08:44:04 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Thu, 08 Oct 2026 07:50:01 GMT]]>告诉llama.cpp那帮人，事实证明，我们真的需要把整个模型load 去vram 才能跑得快吗？

]]>https://lcz.me/post/23250https://lcz.me/post/23250Thu, 08 Oct 2026 07:50:01 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Thu, 08 Oct 2026 07:40:16 GMT]]>推上有人拿strata 说事,埋怨llama.cpp,vllm,sglang的人都在干嘛.

]]>https://lcz.me/post/23247https://lcz.me/post/23247Thu, 08 Oct 2026 07:40:16 GMT<![CDATA[Reply to llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash ! on Thu, 08 Oct 2026 05:05:10 GMT]]>关键还是prefill增量计算的问题，有没有达到高可用度，没有它就还是入门级选手。

]]>https://lcz.me/post/23197https://lcz.me/post/23197Thu, 08 Oct 2026 05:05:10 GMT