抡锤者

记录一下自己RTX3080 20g的一些配置
WIN11安装：
git clone https://github.com/ggerganov/llama.cpp
cmake -B build -D GGML_CUDA=ON -D CMAKE_CUDA_ARCHITECTURES=86 -D LLAMA_BUILD_SERVER=ON -D LLAMA_BUILD_ALL_EXAMPLES=OFF -D LLAMA_BUILD_TESTS=OFF -D LLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release --parallel 2

启用集成显卡很有帮助，可以设置更大的上下文长度，
初始40+T/S PREFILL1200 T/S，使用DEEPSEEK HARNESS，到压缩上下文之前还能有35T/S,PREFILL600T/S
实际工作体验中，KV量化使用Q80和Q40精度损失见仁见智吧，我觉得还是可用的，特别是DSH对于模型自身能力有加成，极少出现工具调用失败，死循环等现象，一定程度缓和了3.8雷霆思考的影响，而且THINKINGCAP模型也会一定程度减少思考长度（好像没吹的厉害）
本地爽玩大模型了

.\hermeswork\llama.cpp\build\bin\Release\llama-server.exe `
 -m D:\hermeswork\models\Qwen3.8-27B-thinkingcap-abliterated.IQ4_XS.gguf `
 -c 160768 `
 -np 1 `
 -ngl 99 `
 -fa on `
 -b 4096 `
 -ub 256 `
 -t 18 `
 -tb 18 `
 --temp 0.5 `
 --top-p 0.9 `
 --top-k 44 `
 --min-p 0.05 `
 --presence-penalty 1.0 `
 --repeat-penalty 1.05 `
 --cache-type-k q4_0 `
 --cache-type-v q4_0 `
 --spec-type draft-mtp,ngram-mod `
 --spec-draft-n-max 2 `
 --spec-ngram-mod-n-match 24 `
 --spec-ngram-mod-n-min 48 `
 --spec-ngram-mod-n-max 64 `
 --load-mode mmap+mlock `
 --host 0.0.0.0 `
 --port 11434 `
 -mm D:\hermeswork\models\mmproj-Qwen3.8-27B-bf16.gguf `
 --no-mmproj-offload `
 --image-min-tokens 1024 `
 --jinja `
 --reasoning-format deepseek `
 -fit off `
 --cache-prompt `

新的LLAMA.CPP支持ngram加速，这个加速还是挺好用的，不会像MTP那样增加显存占用，如果命中，加速效果很恐怖的，时不时给你来个200+TS

真是一张神卡啊

又让他写一个实时统计我TOKEN使用量的网页，一次成功了。

上下文500K还是宽松了点，实际上超过250K就能察觉到智力下降

.\hermeswork\llama.cpp\build\bin\Release\llama-server.exe -m D:\hermeswork\models\Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-Q8_0.gguf `
 -c 262144 `
 -ngl 999 `
 -t 24 `
 -tb 24 `
 -b 32768 `
 -ub 4096 `
 -np 1 `
 -ncmoe 26 `
 --temp 0.1 `
 --top-p 0.9 `
 --top-k 40 `
 --min-p 0.05 `
 --presence-penalty 1.0 `
 --repeat-penalty 1.05 `
 --flash-attn on `
 --reasoning off `
 -ctk q8_0 `
 -ctv q8_0 `
 -cms 16384 `
 --ctx-checkpoints 48 `
 --cache-reuse 4096 `
 --host 0.0.0.0 `
 --port 11434 `
 --load-mode mlock

初始PR1400,32TS，讲真这个量化精度其实损失很低了，我下载模型的时候打算用MTP的，后来发现MTP不会带来任何的加速，我估计是PCI带宽是瓶颈，（还轮不到DDR4）
咦我好像发不了图片

这是两种不同的智能体，PI是工程师，工程师会顶你个肺，骂你不专业，给的命令不清晰严谨老子就不干了，HERMES是小秘书，贴心，怎么滴都会哄着你开开心心的，不过会刷你的卡买包包。

没错，我觉得论坛就是最好的交流地，能沉淀知识

@terry 说:

美国的AI泡沫不会轻易破掉，因为这一次不同，这一次绑定了国运，美国政府会全力救场，破掉了其他所有美元资产的高估值都会破碎。但是泡沫确实太大了，维持成本很高。

每次都不同的哦，不过每次相同的是，都会猛砸一段时间，然后又开始漫长的牛市

@kos-or STRATA强悍在使用Q4KXL都可以获得很不错的速度，其实这个精度或者更低的iq4xs,都已经很实用了，更不用说KV可以使用FP16量化

@kos-or 我没有去跑这样的评分对比，但是我最后保留下来的是GCQ-IQ3S和swift iq4xs,IQ3S速度会快20%左右，用脚本跑长流程的时候，基本都是100TS，iq4xs80ts,众所周知，strata速度在256K上下文长度下，衰减基本不会察觉

可以试试这几个配置，这个上下文这个速度，我感觉已经没有升级的冲动了

我觉得能跑就行了，反正也只是跑轻量的脏活或者简单工作，也没必要投入太多资金。

@applejuice 反正我是一边折腾一边工作，有痛苦的时候，就是这次对话的改动很好，但是显存炸了，这个时候只有3T/S，你得等它慢慢总结，慢慢GIT
27b也有过不去的坎，这个时候只能你自己告诉它怎么弄，我试过，它搞不定的，让他自己跑一个下午都跑不通，这里几天折腾，我的新软件也已经跑出来了。

都170K上下文了，任务都跑了一个多小时了，还能有50多TOKEN/S，不过这个不是常态，通常这个时候只能到30T/S，PERFILL只能到350左右

最新优化，我觉得又白嫖了KV了，多模态MTP，长时间N多轮对话直到KV到99%都稳定运行，KV已经可以达到190K.。。。我继续让他做中型的代码任务，
35B我觉得可以弃用了，MTP基本无效，不时出点“什么缩进错误”，或者“干脆我重写好了”，
隔壁帖子提到的forcing full prompt re-processing due to lack of cache dataforcing full prompt re-processing due to lack of cache data现象，终于是出现了，不过也就一扫而过，没有感到任何异常

改了高亮的地方

经过一天的折腾，27B确实智能更强，在教他干活的时候明显好用，多智能体协作的时候或者并行的时候，峰值可达70TOKEN/S，我勒个去，这个速度是我万万没想到的，35B我还没测试多线程，单线程的时候任务超过10分钟后，速度也会降到60多，我怀疑是还没优化到位，不过我已经不想搞了，27B三个线程已经可以这么快，就算两个线程基本是可以到60TOKEN/S的，我还搞毛线啊，干活去

用27B跑项目的前期，工作习惯，框架大体搭好，然后用35B，开满上下文，不用MTP，速度就是这个样子，截图的这个状态实际上下文已经跑到了150K了，这只是单卡，还是不要搞双卡了，哥们

我目前使用HERMES的方法是对话式的，还没达到大佬们自动生产脚本的程度，目前的体验已经比在线的要好，要快，能力一点不弱，甚至更强，因为它读我给它的PDF，又快又准，理解得又好，甚至有的时候我对PDF那个环节拿不准，让他帮我找解决方法比我去看还快，之前一旦对话到后期，显存占用19.7M无论共享显存是0.2G还是多少，就有几率出现个位数的T/S，这个时候就比较煎熬了，因为这个时候项目代码有的还没更新完，停又不好停，但是现在这个设置，达到19.7G显存占用后，速度几乎还能保持35T/S左右，甚至现在共享显存已经到了1G了，还是很稳，对话过程的延时基本就是一两秒就开始给我回复了，到此刻，正式结束HERMES 跑QWEN3.6 27B的参数优化，谢谢大家看我唠叨

你这眼泪是从嘴角流下来的吧