<![CDATA[RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S]]>记录一下自己RTX3080 20g的一些配置
WIN11安装：
git clone https://github.com/ggerganov/llama.cpp
cmake -B build -D GGML_CUDA=ON -D CMAKE_CUDA_ARCHITECTURES=86 -D LLAMA_BUILD_SERVER=ON -D LLAMA_BUILD_ALL_EXAMPLES=OFF -D LLAMA_BUILD_TESTS=OFF -D LLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release --parallel 2

27B原始64KQ8(35token/s)：
.\llama-server.exe -m D:\hermeswork\models\Qwen3.6-27B-IQ4_NL.gguf -c 65536
-ngl 99 -t 14
-tb 14 -b 2048
-ub 512 --flash-attn on
--cache-type-k q8_0 --cache-type-v q8_0
--kv-offload --kv-unified
--mmap --mlock
--context-shift --reasoning off
--reasoning-budget 0 --host 0.0.0.0
--port 11434

27B126KQ4MTP无多模态（48token/s）
.\llama-server.exe -m D:\hermeswork\models\Qwen3.6-27B-IQ4_NL.gguf -c 128000
-ngl 99 -t 14
-tb 14 -b 4096
-ub 256 --jinja
--temp 0.7 --top-p 0.9
--top-k 40 --min-p 0.0
--presence-penalty 1.0 --repeat-penalty 1.05
--flash-attn on --cache-type-k q4_0
--cache-type-v q4_0 --kv-offload
--kv-unified --mmap
--mlock --spec-type draft-mtp
--spec-draft-n-max 2 --skip-chat-parsing
--reasoning off --reasoning-budget 0
--host 0.0.0.0 `
--port 11434

35B256KQ4多模态 无MTP (113 TOKEN/S)
.\llama-server.exe -m D:\hermeswork\models\Qwen3.6-35B-A3B-UD-IQ4_NL.gguf -c 262144
-ngl 55 -t 14
-tb 14 -b 4096
-ub 256 --jinja
--temp 0.7 --top-p 0.9
--top-k 40 --min-p 0.0
--presence-penalty 1.0 --repeat-penalty 1.05
--flash-attn on --mmproj D:/hermeswork/models/mmproj-F32.gguf
--no-mmproj-offload --image-min-tokens 1024
--cache-type-k q4_0 --cache-type-v q4_0
--skip-chat-parsing --reasoning off
--reasoning-budget 0 --host 0.0.0.0
--port 8080 --kv-offload
--kv-unified --mmap
--mlock `
真是一张神卡啊

]]>https://lcz.me/topic/243/rtx3080-20g-qwen3.6-27b-45-50t-s-35b多模态256k-110t-sRSS for NodeSun, 31 May 2026 05:33:27 GMTThu, 21 May 2026 10:54:04 GMT60<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Sat, 30 May 2026 01:51:28 GMT]]>已经非常好了 👍 👍 👍

]]>https://lcz.me/post/4288https://lcz.me/post/4288Sat, 30 May 2026 01:51:28 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Fri, 29 May 2026 02:54:46 GMT]]>可以试试这几个配置，这个上下文这个速度，我感觉已经没有升级的冲动了
6310dcdb-b00e-4a26-af40-54f486506e1f.jpg

]]>https://lcz.me/post/4139https://lcz.me/post/4139Fri, 29 May 2026 02:54:46 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Fri, 29 May 2026 01:31:58 GMT]]>感谢大佬，已经抄作业成功，同款20GB显存RTX3080 ，190K上下文，能跑50token/s左右，比LM Studio快太多了！
640b6b41-fcdd-4250-872a-4d8836621189-image.jpeg
90b489be-cb0f-4f9c-b074-f1ce7e7311c7-image.jpeg

]]>https://lcz.me/post/4132https://lcz.me/post/4132Fri, 29 May 2026 01:31:58 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Wed, 27 May 2026 00:49:19 GMT]]>@applejuice 就是命令行和hermes对话，让它建立项目做具体事情，做不好就骂，很奇怪，骂他比表扬他更有效，直到kv接近到99%,然后让它总结，写进度，退出，再次命令行进入，让它根据他自己写的项目进度继续做，每次重新打开第一次会话是比较久的，不过这个不影响了，毕竟190k上下文，已经可以撑很久，

那么问题来了，大家是怎么用的？为什么我的上下文基本是线性向上的，其实dashboard 的输入token曲线就能看出来

]]>https://lcz.me/post/3858https://lcz.me/post/3858Wed, 27 May 2026 00:49:19 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Wed, 27 May 2026 00:03:56 GMT]]>@vosrock moe现在确实不行，就算DeepSeep v4这么强的模型也是moe，就能够得到qwen 27b的水平

]]>https://lcz.me/post/3855https://lcz.me/post/3855Wed, 27 May 2026 00:03:56 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 17:33:59 GMT]]>@vosrock

35b A3b 因为是moe模式， MTP和专家路由很难对齐，所以效果不好，等将来MTP的优化做得更好的时候，可能会有改善。

]]>https://lcz.me/post/3844https://lcz.me/post/3844Tue, 26 May 2026 17:33:59 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 16:36:53 GMT]]>

@vosrock 说:

我目前使用HERMES的方法是对话式的，还没达到大佬们自动生产脚本的程度，目前的体验已经比在线的要好，要快，能力一点不弱，甚至更强，因为它读我给它的PDF，又快又准，理解得又好，甚至有的时候我对PDF那个环节拿不准，让他帮我找解决方法比我去看还快，之前一旦对话到后期，显存占用19.7M无论共享显存是0.2G还是多少，就有几率出现个位数的T/S，这个时候就比较煎熬了，因为这个时候项目代码有的还没更新完，停又不好停，但是现在这个设置，达到19.7G显存占用后，速度几乎还能保持35T/S左右，甚至现在共享显存已经到了1G了，还是很稳，对话过程的延时基本就是一两秒就开始给我回复了，到此刻，正式结束HERMES 跑QWEN3.6 27B的参数优化，谢谢大家看我唠叨

你是怎样测试的？

]]>https://lcz.me/post/3842https://lcz.me/post/3842Tue, 26 May 2026 16:36:53 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 16:13:28 GMT]]>我目前使用HERMES的方法是对话式的，还没达到大佬们自动生产脚本的程度，目前的体验已经比在线的要好，要快，能力一点不弱，甚至更强，因为它读我给它的PDF，又快又准，理解得又好，甚至有的时候我对PDF那个环节拿不准，让他帮我找解决方法比我去看还快，之前一旦对话到后期，显存占用19.7M无论共享显存是0.2G还是多少，就有几率出现个位数的T/S，这个时候就比较煎熬了，因为这个时候项目代码有的还没更新完，停又不好停，但是现在这个设置，达到19.7G显存占用后，速度几乎还能保持35T/S左右，甚至现在共享显存已经到了1G了，还是很稳，对话过程的延时基本就是一两秒就开始给我回复了，到此刻，正式结束HERMES 跑QWEN3.6 27B的参数优化，谢谢大家看我唠叨

]]>https://lcz.me/post/3840https://lcz.me/post/3840Tue, 26 May 2026 16:13:28 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 15:57:00 GMT]]>最新优化，我觉得又白嫖了KV了，多模态MTP，长时间N多轮对话直到KV到99%都稳定运行，KV已经可以达到190K.。。。我继续让他做中型的代码任务，
35B我觉得可以弃用了，MTP基本无效，不时出点“什么缩进错误”，或者“干脆我重写好了”，
隔壁帖子提到的forcing full prompt re-processing due to lack of cache dataforcing full prompt re-processing due to lack of cache data现象，终于是出现了，不过也就一扫而过，没有感到任何异常

019.png

020.png
改了高亮的地方

]]>https://lcz.me/post/3833https://lcz.me/post/3833Tue, 26 May 2026 15:57:00 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 14:56:49 GMT]]>@vosrock 支持的啊，下午还让AI找了个多模态的用上了

]]>https://lcz.me/post/3824https://lcz.me/post/3824Tue, 26 May 2026 14:56:49 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 12:37:17 GMT]]>@rock-shi 跑了一下午的代码项目，160K到顶了，170K有机会炸显存，疑问来了，不是说MTP不支持多模态吗？我怎么跑起来了

]]>https://lcz.me/post/3801https://lcz.me/post/3801Tue, 26 May 2026 12:37:17 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 12:27:01 GMT]]>@kop-wang 这是跑到105K KV时候的PREFILLL速度，对话开始的时候是1100多

]]>https://lcz.me/post/3800https://lcz.me/post/3800Tue, 26 May 2026 12:27:01 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 07:57:18 GMT]]>感谢楼主分享。
prefill性能不到500，从性价比上来讲可以接受，但是容易多轮对话之后每次LLM调用都要罚站10~20秒。

但反过来想，如果使用localLLM只是用于背景进程任务，对实时性要求不高的话，也是可以接受的。

还有就是MTP对于prefill有一定的负面影响，也需要去衡量。

]]>https://lcz.me/post/3752https://lcz.me/post/3752Tue, 26 May 2026 07:57:18 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 07:37:01 GMT]]>@vosrock 对啊！最起码体感很舒服了，跟云端差不太多了。再就等DFlash了，让AI预估了一下3080估计能到60t/s了

]]>https://lcz.me/post/3750https://lcz.me/post/3750Tue, 26 May 2026 07:37:01 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 06:08:47 GMT]]>隔壁帖子SKY大佬提供的模型Qwen3.6-27B-uncensored-abliterated-MTP-i1-IQ4_XS-FFN-IQ3，27B多模态MTP的速度，KV现在是150K上限，跑到了100K左右，显存峰值才19。3G，也就是说还可以继续加，不过这个速度这个精度还多模态，已经无遗憾了

017.png

]]>https://lcz.me/post/3739https://lcz.me/post/3739Tue, 26 May 2026 06:08:47 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 03:23:44 GMT]]>@applejuice 48g我的天，后面还可以关注DFlash，你这跑27b速度不得到80t/s

]]>https://lcz.me/post/3718https://lcz.me/post/3718Tue, 26 May 2026 03:23:44 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Tue, 26 May 2026 00:17:46 GMT]]>@im17me 有nvlink 的3090那是直接起飞了，可以预期速度x1.8，显存48g爽yy了

]]>https://lcz.me/post/3677https://lcz.me/post/3677Tue, 26 May 2026 00:17:46 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Mon, 25 May 2026 15:11:16 GMT]]>@im17me 还没到啊. 我国外

]]>https://lcz.me/post/3619https://lcz.me/post/3619Mon, 25 May 2026 15:11:16 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Mon, 25 May 2026 15:10:26 GMT]]>@applejuice 你的3090加nvlink 有效果吗？能不能说一下提升情况

]]>https://lcz.me/post/3618https://lcz.me/post/3618Mon, 25 May 2026 15:10:26 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Mon, 25 May 2026 11:07:06 GMT]]>@applejuice 原来您是双3090啊，那不一样，完全是两个世界了，我估计跑COMFYuI都能有不错的体验啊，单3080其实LTX2.3也能跑一下，体验都还可以的，这张卡其实我是去年拿来跑视频的敢信

]]>https://lcz.me/post/3579https://lcz.me/post/3579Mon, 25 May 2026 11:07:06 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Mon, 25 May 2026 08:57:05 GMT]]>@applejuice 双卡3090+nvlink绝对牛逼。期待一波反馈

]]>https://lcz.me/post/3566https://lcz.me/post/3566Mon, 25 May 2026 08:57:05 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Mon, 25 May 2026 07:59:56 GMT]]>@vosrock

钱已经花了 等我机器到也测一测

]]>https://lcz.me/post/3564https://lcz.me/post/3564Mon, 25 May 2026 07:59:56 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Mon, 25 May 2026 07:19:50 GMT]]>016.PNG
用27B跑项目的前期，工作习惯，框架大体搭好，然后用35B，开满上下文，不用MTP，速度就是这个样子，截图的这个状态实际上下文已经跑到了150K了，这只是单卡，还是不要搞双卡了，哥们

]]>https://lcz.me/post/3551https://lcz.me/post/3551Mon, 25 May 2026 07:19:50 GMT<![CDATA[Reply to RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S on Mon, 25 May 2026 06:56:06 GMT]]>@applejuice 也不能这么说，肯定是有舍有得。像我这两个3080，当时买的时候感觉挺落后的，实际上玩起来的时候说不定有很多其他卡不适配的应用场景，整体速度感觉也还不错。53164c3f-b1fa-4fe0-8775-35881d05bfa6-image.jpeg

]]>https://lcz.me/post/3547https://lcz.me/post/3547Mon, 25 May 2026 06:56:06 GMT