llama.cpp 0.6.0 出了，继续跑我的 Deepseek V4 和 GLM5.3 Flash !

[johnnybegood]

llama.cpp 0.6.0 最新版出了， https://github.com/ggml-org/llama.cpp

增加了很多模型支持， 把本地几个大个子模型又跑了一遍， 感触颇深， 之前跑这几个模型， 要么需要专门的软件和架构， 要么需要单独编译PR， 要么需要跑 EXL3 版， 总之每个模型想正常跑起来还是很折腾 ， 现在 0.6.0 一出， 都可以直接跑， 毫无障碍， 改改启动参数就行了。

配置： 3090 24G+3080 20G， 128G DDR4 3600MHz

1、DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2-imatrix-0731.gguf

----跑出 20tok/s ， 实测对话编程都挺流畅的，虽然文件名是 IQ2, 但是核心部分还是 Q8的， 挺好用。

2、DeepSeek-V4-Flash-0731-UD-IQ3_S-00001-of-00004.gguf

----跑出 17tok/s

3、GLM-5.3-Flash-UD-IQ3_XXS-00001-of-00004.gguf

----跑出 12tok/s ， GLM好像优化的还不太好

不管怎么说， 这些之前认为的庞然大物，在我这种一般消费级的电脑上，可以跑起来了，也能较为流畅地进行交互，我觉得已够了，有时候大模型不一定是用来干重活儿的，可以把它当个知识库或者参谋来用，也挺好，这个时候我不需要它很快， 只要够聪明， 知识量够大就行了。

[terry]

关键还是prefill增量计算的问题，有没有达到高可用度，没有它就还是入门级选手。

[stxpnet]

推上有人拿strata 说事,埋怨llama.cpp,vllm,sglang的人都在干嘛.

[imbiplaza ASUS]

告诉llama.cpp那帮人，事实证明，我们真的需要把整个模型load 去vram 才能跑得快吗？

[comeN]

30以下真的不可用啊，开思考50以上才能接受

[懒人烘培]

我主力还是用SGLang，当然用strata也有部署

[张光璞]

@stxpnet 说:

推上有人拿strata 说事,埋怨llama.cpp,vllm,sglang的人都在干嘛.

Strata 现在一天两更，太疯狂了。 我整了个计划任务自动抓取跟AMD 相关的性能优化，其他都略过。

[terry]

@懒人烘培 俺也一样

[懒人烘培]

@张光璞 Strata更新确实很勤~是好事哈~

[exe127]

@johnnybegood
想請教一下,
我下載了: llama-b11475-bin-win-vulkan-x64
模型是: Qwen3.8-27B-UD-Q4_K_XL

命令:
@echo off
title Qwen3.8-27B XL 131K MTP
.\llama-server.exe -m .\models\Qwen3.8-27B-UD-Q4_K_XL.gguf --model-draft .\models\mtp-Qwen3.8-27B-Q4_0.gguf -dev Vulkan1 -ngl 99 --fit off -c 131072 -ub 256 --cache-type-k q4_0 --cache-type-v q4_0 -np 1 --spec-type draft-mtp --spec-draft-n-max 2 --flash-attn on --host 0.0.0.0 --port 8080 --jinja
pause

我在win11啟動模型後, 奇怪的是模型加載完成後, 會由VRAM搬到內存, VRAM此刻清零, 內存使用量暴升. 當發問問題時, VRAM才回升, 你可以看圖 ( System Memory 對比 Memory Used) , 是不是我的設定上有問題呢? 模型不能留在VRAM內. 我試過把上下文改成32k (將-c 131072 調整為 -c 32768) 情況同樣發生. 問了Gemini也解決不了. 謝謝大神幫忙

[johnnybegood]

@exe127 -ngl 去掉 ， -fit 弄成on再试试

[exe127]

@johnnybegood 謝謝, 我先回去試一下. 我的這個現象就是OOM嗎? 不知為何生成token 也可以有~50左右. 感覺還算很可以

[johnnybegood]

此主題已被删除！