小白到能玩# 4080 SUPER 32G 跑 Qwen3.8-27B 无审查版(Q6_K) 实测61.7t/s 完整部署与实测指南,自己从27t/s一路调上来的,分享给大家

[Dady Pan]

速度不错 上下文短了点

[CHAO WANG]

@johnnybegood
真的,但要分场景,不是全面变傻:

对复杂推理/精确计算:会变笨。off 只是不让模型先想再答,权重没变,但少了 <think> 自我校验,多步算术容易翻车
对普通问答/创作/常规代码:几乎没差别,甚至更利落。
对 agent/工具调用:off 反而是对的,思考链会把输出预算吃光(你自己 9/3 实测过 8192 全被 <think> 吃掉、正文空白)。
所以正解不是"永远 off"或"永远 on",而是:服务端保持 off(保工具调用稳定),难题按请求临时开思考——请求体加 "chat_template_kwargs": {"enable_thinking": true} 即可

[CHAO WANG]

@johnnybegood
比如问问一些敏感问题，还有一些黄色小要求啥的，能做的事情很多啊，写个啥爬虫软件等等自己想把，正常模型不让干的他能干。

[imbiplaza ASUS]

我可以分享我的经验。。。有时候快，也要顾及出品

我试了几个，后来默默还原本来的设定，后来只是增加 至128k, 开启量化kv

我的工具需要产生110k...如果遇见不足，会发生hard block，进行不下去 ，这是我故意的，这个工具我也是从50k 慢慢调教他的良率至110k

期间更换了几个model,他们的model出品都有瑕疵，
hauhau, huihui，llmfan46 全数不过关，就算nvfp4在我的显卡里，能够明显提速，在我的出品里，他不能，就是不能。。。

后来才找到唯一的，JonathanColetti，Qwen3.8-27B-Uncensored-GGUF，

执行起来他是最慢的，但是凑合用还是可以

后来我尝试使用上一代qwen3.6 看看出品，上一代缺陷明显，动作不够多，不够细，人物还会漂。。。我做惯视频，我懂我需要什么

所以说真正能够让我本地模型投产的是Qwen3.8 27b

[毅袁]

@imbiplaza-ASUS

大佬，这个设置界面是自制的吗？看起来很惊艳，可否分享下？
拜谢！

[CHAO WANG]

@imbiplaza-ASUS 感谢大佬分享

[imbiplaza ASUS]

@毅袁 这个是lm studio 原本的设定

[毅袁]

@imbiplaza-ASUS 感谢回复，我去研究下

[johnnybegood]

@imbiplaza-ASUS 新出了个
DavidAU
/
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF ， 据说是qwen3.8 智力天花板了， 你去试试呗， 看看怎么样

[imbiplaza ASUS]

@johnnybegood

等我搞定我得漫画动画再来折腾

Recording 2026-09-07 155118.mp4