RTX3080 20g,qwen3.8 27B 60-30T/S 本地爽玩配置

[Tony Wang]

@vosrock

35b A3b 因为是moe模式， MTP和专家路由很难对齐，所以效果不好，等将来MTP的优化做得更好的时候，可能会有改善。

[rock shi]

@vosrock moe现在确实不行，就算DeepSeep v4这么强的模型也是moe，就能够得到qwen 27b的水平

[ldscool]

@applejuice 就是命令行和hermes对话，让它建立项目做具体事情，做不好就骂，很奇怪，骂他比表扬他更有效，直到kv接近到99%,然后让它总结，写进度，退出，再次命令行进入，让它根据他自己写的项目进度继续做，每次重新打开第一次会话是比较久的，不过这个不影响了，毕竟190k上下文，已经可以撑很久，

那么问题来了，大家是怎么用的？为什么我的上下文基本是线性向上的，其实dashboard 的输入token曲线就能看出来

[Eliesid Sliva]

感谢大佬，已经抄作业成功，同款20GB显存RTX3080 ，190K上下文，能跑50token/s左右，比LM Studio快太多了！

[vosrock]

可以试试这几个配置，这个上下文这个速度，我感觉已经没有升级的冲动了

[Tony Wang]

已经非常好了

[simo9052]

@vosrock 厲害

[最是沉醉]

@vosrock 大佬，我看你内存占用28G，是不是有部分offload到内存中去了？

[vosrock]

@最是沉醉 我为KV设置了内存缓存，这个我还不知道有没有帮助，反正我内存大，没有负面影响，
其实不需要担心，一旦模型OFFLOAD，速度立马就会变慢，以我的急性子是不可能感受不到的

[vosrock]

启用集成显卡很有帮助，可以设置168960KV
.\hermeswork\llama.cpp\build\bin\Release\llama-server.exe -m D:\hermeswork\models\Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved.i1-IQ4_XS.gguf `
 -c 168960`
 -ngl 99 `
 -t 24 `
 -tb 24 `
 -b 2048 `
 -ub 256 `
 -np 1 `
 --temp 0.15 `
 --top-p 0.9 `
 --top-k 40 `
 --min-p 0.05 `
 --presence-penalty 1.0 `
 --repeat-penalty 1.05 `
 --flash-attn on `
 -ctk q4_0 `
 -ctv q4_0 `
 --reasoning off `
 --kv-offload `
 --spec-type draft-mtp `
 --spec-draft-n-max 2 `
 --checkpoint-every-n-tokens 16384 `
 --ctx-checkpoints 64 `
 --cache-reuse 4096 `
 --no-context-shift `
 --cache-ram 24576 `
 --host 0.0.0.0 `
 --port 11434 `
 --mmap `
 --mlock ` 

[vosrock]

这是新的配置，之前的配置上下文到了100多K之后，KV缓存会耗费大量时间做交换，用这个配置就不会了，后期的速度会快很多，能明显感觉到
这个配置初始大概有60多T/S PREFILL大约1200T/S，上下文快满了的时候大概40T/S，PREFILL大约500T/S，实际上和在线API的感觉没什么很大区别了

[flyps]

感谢分享感谢分享

[最是沉醉]

感谢分享，太有帮助了

[最是沉醉]

大佬，照着参数搞，一样3080 20G，就这样

[vosrock]

换用DEEPSEEK HARNESS，就可以了

[huaye XU]

牛逼，这个配置无敌了，又快又好。感谢

[captainheemo]

@vosrock 请问楼主，我最近买的3080， 这个配置3.8 27b也能抄作业吗。谢谢您

[vosrock]

用3.8一样可以用类似的配置，而且用DSH的话，死循环问题几乎不会出现，反正我是没有遇到过了，缺点是雷霆长思考

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f243-714-1（系统自动发放，只发一次）

[vosrock]

@captainheemo 说:

@vosrock 请问楼主，我最近买的3080， 这个配置3.8 27b也能抄作业吗。谢谢您

给你最新的3.8的配置，一楼更新了