RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S

[terry]

@Tide 体验如何，可以另开一个帖子，讲下部署过程和实测体验，多放点hermes的截图，方便其他人抄作业。最好能让hermes跑个小任务。

[Tide]

@terry 哈哈,惭愧呀.我哪有什么部署过程啊,无非就是把你这论坛两个帖子发给AI,要他仔细看一遍.然后学你的样使劲骂deepseek v4 flash.让他帮我全部搞定,我只监工.完工后体验是真好,让我不再焦虑64k上下文了.其余变化不大,显存占用比以前少了一点点.参考的另一个帖子是大模型16G卡的春天,但不是同样的llama.cpp.

[vosrock]

我也是终于跑通了，不过是使用LM STUDIO跑通的，损失了不少性能，35B目前PREFILL大概500ts,79T/S我觉得这个速度很慢，如果27B最终能到45T/S的话，我估计也只能算是勉强可用，我有的不太相信19/TS能干什么活

[vosrock]

刚才顶着这个速度耐心跑了一个中型软硬件结合的测量系统的架构设计和选型，包括文献整理，跑了8分钟，一次搞定，出来的结果合理，准确。对照我自己设计的方案，甚至感觉他的方案更完善文献每一篇都可查，直接秒杀了豆包啊，豆包给出的方案，文献全部都是杜撰的，没有一篇文章能找得到。35B我认为可用

[vosrock]

[ezios]

@vosrock 我认为35B你那个配置还可以优化，不应该只有500，Hermes我刚试了2080ti，35B很快就回答了，后台扫了一眼日志，应该是上千的。我是2080ti，并且是用USB4接的显卡，输出只有45tokens/s

不过我是llamacpp跑的：

version = 1

[*]
parallel = 1

n-gpu-layers = 999

ctx-size = 131072
predict = 8192

flash-attn = on

cache-type-k = q4_0
cache-type-v = q4_0

threads = 8
threads-batch = 16

batch-size = 8192
ubatch-size = 512

jinja = true
reasoning = off
reasoning-budget = 0

cache-prompt = true
cache-reuse = 256

kv-offload = true
kv-unified = true
context-shift = true

no-mmap = true

temp = 0.7
top-p = 0.9
top-k = 40
min-p = 0.0

presence-penalty = 0.0
repeat-penalty = 1.03

load-on-startup = true
stop-timeout = 10


[default]
model = C:\models\Qwopus3.6-35B-A3B-v1-APEX-MTP-I-Compact.gguf

spec-type = draft-mtp
spec-draft-n-max = 2

cache-type-k-draft = q4_0
cache-type-v-draft = q4_0

[vosrock]

是的，甚至我现在还没有加多模态，使用LMSTUDIO和直接用LLAMA.CPP速度相差巨大，不过直接用LLAMA.CPP我无法让HERMES调用SKILL，还没找到方法，现在关注点问题集中在模板上了，希望可以搞定

[vosrock]

自己修理自己进行中

[vosrock]

终于是搞定了，.\hermeswork\llama.cpp\build\bin\Release\llama-server.exe -m D:\hermeswork\models\Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Compact.gguf -c 262144
-ngl 60 -t 20
-tb 14 -b 4096
-ub 256 --temp 0.7
--top-p 0.9 --top-k 40
--min-p 0.0 --presence-penalty 1.0
--repeat-penalty 1.05 --flash-attn on
--jinja --cache-type-k q4_0
--cache-type-v q4_0 --reasoning off
--reasoning-budget 0 --host 0.0.0.0
--port 11434 --kv-offload
--kv-unified --mmap
--mlock `
这是最终的配置

我也不太懂看，貌似PREFILL能有1600多？

[vosrock]

刚才试过了，27B还是能感受到要强一点，速度也能勉强接受吧，我觉得是两个模型都能跑

[comeN]

单卡3080-20G就这速度？我双卡3080开MTP=3输出代码时候才47Token/s

[jimsavage]

我的编译总是出问题。后来看了build.md，用Visual Studio 17 2022,一次编译成功，命令是cmake -B build -G "Visual Studio 17 2022" -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_SERVER=ON -DLLAMA_BUILD_ALL_EXAMPLES=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF

[vosrock]

经过一天的折腾，27B确实智能更强，在教他干活的时候明显好用，多智能体协作的时候或者并行的时候，峰值可达70TOKEN/S，我勒个去，这个速度是我万万没想到的，35B我还没测试多线程，单线程的时候任务超过10分钟后，速度也会降到60多，我怀疑是还没优化到位，不过我已经不想搞了，27B三个线程已经可以这么快，就算两个线程基本是可以到60TOKEN/S的，我还搞毛线啊，干活去

[vosrock]

40多分钟了，两个线程跑完了，剩下一个线程越跑越快你敢信

[terry]

@vosrock 关于干活的，可以写个帖子单独分享下。

[vosrock]

可惜没截图了，第一个工作就是让他读一个IC的PDF，读的过程中忽然想让他直接帮我翻译成中文，看起来舒服点，然后各种调教，缓存里找到几张过程他自己截的图


这两张就是35B做的，然后怎么教他都改不过来，后来我就换27b模型,经过几次的修改就得到这么一张优质的翻译结果，然后就让他用三个线程将整个PDF140多页全部翻译过来

[vosrock]

又让他写一个实时统计我TOKEN使用量的网页，一次成功了。

[terry]

@Tide 抄作业也要交作业，抄作业心得，

[rock shi]

@terry qwen 35b在hermes里干活不行，跟gemma差不多水平，不是出错就是逻辑循环根本没法干活。必须是27b或者DeepSeek才适配hermes

[rock shi]

@comeN 我也是双卡3080 20，这得看开了多少上下文把，还有reasoning等级。我hermes开128k，reasoning high差不多就你这个速度上下浮动