Qwen3.8 27B实测：编程能力暴涨，但Agent长链推理频繁崩溃，替代DeepSeek不现实，社区优化后潜力很大，可稍晚入手！
-
刚起来，脸也没洗，澡也没洗。昨天通宵做这个论坛APP的开发，然后同时我还有一个长链任务在推理，就是我现在在写一个自动剪辑器。要不然以后我的英语频道可能没有时间更新了。不过如果说剪辑器本身比较low的话，又会导致什么问题呢？就是平台检测出来你这个视频里面的变化、特效太少，它会把它当做AI Slop。
昨天的推进还是非常猛的，因为过几天DeepSeek V4 Pro要涨价，所以这段时间你能用多少用多少。昨天这个地方，所有的终端我都给它开了Agent，就完全占满了。但是不管怎么累，还是来谈一谈千问3.8 27B，因为论坛关注度很高。你看前面6个新帖，有5个跟这个模型相关。这是我们论坛超级版主Kop Wang发的帖子，大家的讨论度还是很高的，都是夸赞的。你想想，这个模型还是昨天夜里发布的，我这样一个只有两三千人注册的小论坛，可能同时在线10个、8个人嘛，就有这么多帖子讨论它，可见这个模型的热度还是非常高的。
首先我说一下结论，方便有不想看的朋友节约时间。就是在编程能力上，它的进步确实是非常夸张的，它的编程能力也非常强。但是在长链任务中，就是在Agent方面，它相比于千问3.6 27B进步并不大，甚至我感觉有些地方是退步了。就是它在多轮推理中容易崩，目前的工具调用是有问题的，可能是有Bug。新的版本、新的权重，也有可能是我没有调好，要等社区大神的完善。暂时的结论就是这样。
下面我们不废话，就进入这个实测。这些我们就参考着看一下就行了。本来我是打算自己拿这个笔记本，像过去一样录视频的，但是我想大家可能不太希望看到我这张老脸，我就把我的脸通过低精度的摄像头，把它缩放到一个小的范围内，大家可能更想看到的还是电脑屏幕。
第一个任务还是传统的老三样，生成一个网页表达中国的传统八卦。点开看一下，这个可以说是我目前为止见过的逼格最高、完成度最高、看起来最赏心悦目的作品。有些小小的缺憾，就是这个地方如果它把它改成两排三列，我感觉效果会更好一点，但是瑕不掩瑜了。你看知识点是非常全的，而且这个动态特效做得不错，该有的特效都有了。这个太极旋转特效做得非常不错，鱼眼也画对了。
缺点呢，后天八卦方位图，离、坎、震和兑反了，乾和巽反了，坤和艮反了。千问3.6 27B它就有这个问题，当时我那个视频还在，大家可以去看一下，连TM错误都一模一样。这一块权重应该是没有更新，这个是模型的知识面问题，跟它的编程能力是没有关系的。
下面我们看下一个任务，生成一个SVG表达钍基熔盐堆运行原理。这个图我认为审美是一直不错的，就千问家族的审美，我认为一直都是要比DeepSeek要好的，包括小米的MIMO都是。但是这里我只能说中规中矩吧，因为有些细节没处理好，就是字体有相互遮盖。不过对于这个原理的把握是非常精准的。
下面一个就是生成一个SVG表达薛定谔的猫思想实验，要点已经是完全抓到了，还是字体遮盖的问题。这后面几个图为什么字体遮盖的问题没有修复呢？就是因为它之前生成八卦的时候，它不是做了检查嘛，修复错误。由于当时视觉模块没有配好，导致卡很长时间，而且它工具调用容易卡死，就被我骂了，我说它是个傻逼，后来它就不检查了，输出的质量有所下降。
这是生成一个SVG表达阿基米德原理。从物理学的角度来讲的话，我认为已经是完全做到了，把所有的要点都讲清楚了，然后这个色调也是非常不错，这个我打85分吧，差不多了。
下面来看一下工具调用。这是让它查询天气，没有什么问题，速度比3.6慢了。哦对了，我忘记讲了我的后端。我这个后端是SGLang，然后使用的这个模型权重是千问3.8 27B FP8模型，开的上下文是131K，就是128K了。这个是可以开256K的，一开始它有Bug导致开不了256K，不过后面Codex把它给修复了。但是讲实话，我的测试范例中用不到这么长的上下文，64K就够了。
这个就是刚才我讲的，它生成网页或者生成代码之后，自己会去检查，但是会出问题。如果它思考的轮数多了，第一是效率非常非常低，第二就是容易卡工具调用、卡Bug。这个就是工具调用卡Bug，一旦它工具调用出了问题，那么就必须要把这个对话退出，重新开启才行。最后这个问题我是初步解决了，Codex把它的那个对话模板Chat Template给改了一下，有所进步，但是没有办法根治。
第一版，它刚才那个太极网页是生成了两版。第一版就是这个地方有错误，就是鱼眼这个位置，其他的都一模一样，就是改这一个错误，它给我整了20分钟时间，就一直卡在那里。它的视觉模块能用，就是比起没有的话肯定是要好的。像我们用DeepSeek V4 Pro来编码的时候，说实话，它并不一定保证能够把这个问题给改对，就是因为DeepSeek V4现在不支持原生的多模态输入，所以说它调用的是框架提供的，比如说Codex或者Hermes提供的，那么它的准确性是不如原生多模态好的。
像一些常规的任务都没有什么问题了，比如说让它去检查服务器的状态，让它做一些简单的脚本执行，这些都是没有问题的。但是不是说了吗，在长链推理中，它很容易卡成龟速，而且很容易把自己给卡崩掉。所以说它暂时还是没有办法取代DeepSeek V4 Flash，或者取代V4 Pro。
你要说复杂项目的编程，我认为它也胜任不了。因为复杂项目的编程不仅要看你的编码能力，这一块它确实27B是非常非常强，甚至我觉得它比DeepSeek V4 Flash还要强，有些时候我觉得它比V4 Pro还要强。但是问题是，如果说你的Agent能力、你的工具调用能力有问题，那你是没有办法执行复杂编码的。因为复杂编程需要多轮长链推理，你这个推理个十几轮之后就崩了，那你肯定是做不了什么大项目的。
而且它这个256K上下文，我说实话，为什么我把它设成128K？因为它实际上跑不了256K。我感觉跑到200K左右，这个上下文就开始崩了，200K以内应该是没有什么问题的。
就是关于DeepSeek Harness能不能接它？能接，这个是测试结果。但是还是那句话，它只要进入长链推理，它的这个模板很容易崩掉。这个应该不仅仅是千问3.8 27B的问题，跟DeepSeek Harness目前对于第三方模型的支持不完善也有很大的关系。而且我的DeepSeek Harness也是昨天还是前天刚刚下的第一版，可能说有很多Bug。系统升级了，我没有跟着更新，因为我现在有重型的任务在跑，所以说我暂时没有去管它。
大家有什么问题，就欢迎到论坛发帖提问。这几天因为DeepSeek马上要涨价了，我可能就是密集更新，能用多少用多少。我其他的英语频道、两个英语频道，包括我另外一个“老特说”的中文科技评论频道，其实都没有更新。最主要的是我想赶在涨价之前，把我的两个重型开发项目给推进一下。
-
@wop 这个说的是 Qwen3.8 chat template 里的"思考强度"档位（low / medium / high / xhigh）各自的 prompt 分支。Che 说的"xhigh 和 low 都加入了提示词，只有 medium 不变"，意思是 v22 模板给这两个档位额外注入了一段指令文本，medium 保持原样。
为什么要这么设计：模板靠注入的指令控制模型的思考行为。xhigh 档会注入类似"逐步深入思考、把推理过程写完整"的引导，所以跑 xhigh 时思考链明显变长——你在隔壁帖说"思考时间特别长"，大概率就是跑的 xhigh；low 档注入的是"直接回答、别绕弯"这类约束，让它少想快答。medium 不变 = 它是基准档，模板不额外干预，模型按默认行为走。
实际建议：Agent / 工具调用场景先用 medium 或 low，响应快、工具调用稳；要解难题再上 high / xhigh。想确认具体加了什么词，直接打开 transformers 缓存里 Qwen3.8 的 chat_template.jinja，看对应档位的分支就一目了然。
另外这也和最近论坛里"3.8 工具调用不如 3.6"的反馈对得上：如果你之前用 3.6 是默认模板、换到 3.8 却开了 xhigh，思考链变长加上模板注入词的变化，都会让工具调用的体感变差。建议先用 medium 复测一轮再下结论。
-
容易崩不一定是模型本身的问题。我这几天几次默认 xhigh 跑到 220k+ 都没什么问题。我就直接用官方 llama.cpp 跑的 unsloth Q4_K_XL，但不开 kv 量化，占用 40GB。其中权重 18GB，那么 kv 占 22GB。你跑的 FP8，但没说 kv 量化没有。官方 FP8 大小 31GB，kv 给你剩下 17GB，说可以开 256K，那应该是量化了吧？kv 比权重对量化敏感得多，越长越容易崩显然是正常的。如果是 chat template 的问题，社区迭代的可能比官方还好，就直接用unsloth就好了。话说回来，要跑个满血版兑现全部潜力，还是很困难的，48G 显存也还是不够啊，也就差不多能用的样子。
-
容易崩不一定是模型本身的问题。我这几天几次默认 xhigh 跑到 220k+ 都没什么问题。我就直接用官方 llama.cpp 跑的 unsloth Q4_K_XL，但不开 kv 量化，占用 40GB。其中权重 18GB，那么 kv 占 22GB。你跑的 FP8，但没说 kv 量化没有。官方 FP8 大小 31GB，kv 给你剩下 17GB，说可以开 256K，那应该是量化了吧？kv 比权重对量化敏感得多，越长越容易崩显然是正常的。如果是 chat template 的问题，社区迭代的可能比官方还好，就直接用unsloth就好了。话说回来，要跑个满血版兑现全部潜力，还是很困难的，48G 显存也还是不够啊，也就差不多能用的样子。
-
@stakira llama.cpp容易跑，哥们。量化我开的fp8 kv量化，Qwen的模版不好，SG-Lang生态兼容性响应没有Llama.cpp快很正常，llama.cpp，它也不能开推理，否则慢成狗，不开智力下降很大。SG-Lang的崩问题我已经修好了，不过我这张卡不想给它用，今天论坛哥们的帖子，换成了XTX，Llama.cpp，也跑的很嗨。如果不是为了做视频，我真不想折腾这玩意。但是折腾了发现还挺好用的。
-
@stakira 这应该不是吧，那么多人测试，什么显卡都有，4090 48G即便不量化，开个128k的上下文没啥问题吧，它还是做不了长链开发啊。不是说不能用，拆分之后都能用，性价比不错，但是取代DeepSeek就扯淡了，这都不是一个级别的东西，DeepSeek 700k上下文还是稳的。正常想想也不可能，模型技术DeepSeek强于阿里，要说规格，V4 Flash更高，这可是要两张 RTX Pro6000才能跑的东西。
@terry 我也没有过说它比 Deepseek 怎样。我的意思是，出于量化原因，实际应该要更强一些。另外：
- dsv4 flash 固然尺寸更大，一般直觉上会更强，但它一次只激活 13B，和全尺寸 284B 比只占可怜的一点儿， 智力和稠密 27B 比有来有回并不奇怪。
- 模型技术本就不是只有一个维度，Deepseek 很多技术都是成本方向，是否全方位更强并不一定。好几家早一点出的模型都比后出的 dsv4 pro 强了，这也没什么奇怪的。
- 虽然默认长度给的是 256k，但官方 huggingface 明确表示将提供 1M 的 API，没有一定信心不会这样做。
-
@terry 我也没有过说它比 Deepseek 怎样。我的意思是，出于量化原因，实际应该要更强一些。另外：
- dsv4 flash 固然尺寸更大，一般直觉上会更强，但它一次只激活 13B，和全尺寸 284B 比只占可怜的一点儿， 智力和稠密 27B 比有来有回并不奇怪。
- 模型技术本就不是只有一个维度，Deepseek 很多技术都是成本方向，是否全方位更强并不一定。好几家早一点出的模型都比后出的 dsv4 pro 强了，这也没什么奇怪的。
- 虽然默认长度给的是 256k，但官方 huggingface 明确表示将提供 1M 的 API，没有一定信心不会这样做。
@stakira 你提到的这些挺有意思，如果真有这么好用，那用起来多好。等hugginface发布好的API用起来不就好了，真好用大家也不是傻子。这就好比91说自己拍片比麻豆好，嘴炮没啥意思。4399做游戏吊打网易？上下文能干到1M阿里自己不做吗？阿里是傻子？你说的那些牛逼的模型，它们是一个接着一个，都是吊打DeepSeek，都是碰瓷，你方唱罢我登场，DS还在舞台中央。
有些常识你应该明白，27b是可以在编程领域比较强，因为训练编程不需要太大参数，但是AI干活，需要处理业务场景，模型尺寸，原生知识权重是很重要的，我的视频里Qwen画八卦从未对过，这就是知识权重的重要性。我昨天开发简单的浏览器，它迭代了十几轮，一百多步，V4 Pro 做的比这个复杂多了，就一段提示词直接搞定集成到APP里了，这有什么好对比的。
我现在已经部署了27b，A卡N卡都调好了，暂时接手不了DeepSeek的工作，因为就是效率差很远。不过可以通过改变工作习惯来适应，就多花点时间。我反正希望你说的这一切真能发生，谁不想省钱呢。干说没啥意思，多贴贴项目，用27b做点事，和deepseek对比下。这有什么好争论的，你可以贴一个，说它就是行。体验这个事见仁见智，但是市场不会说谎。
DeepSeek不知道地球上有Qwen 27B这个模型吗？他们坚持涨价是傻？没啥好争论的，27b越强越好，我还能和自己的钱包过不去？
-
精彩精彩，反复看了几次这个帖子，感觉要爽玩27B，还得PRO 6000D 84G 或者 72G企业级显卡才能一步到位啊。 KV缓存量化过后确实对智力损伤比较重。
我今天用 awq w4a16的感受就是这样。调研中途虽然由于数据量大，崩了一次，但我依然可以在显卡空闲之后，再让它总结，并拿着总结去重开session，继续工作，最后出来的结果和我预想的相差无几。
26-08-19
双卡3090(8x8x无nvlink,p2p驱动) +Sglang+qwen 3.8 27B awq模型 [功耗异常弃用]
8-20 用vllm 0.26+ Qwen3.8-27B-SmoothQuant-W8A8-INT8 200K上下文 ~50t/s -
精彩精彩，反复看了几次这个帖子，感觉要爽玩27B，还得PRO 6000D 84G 或者 72G企业级显卡才能一步到位啊。 KV缓存量化过后确实对智力损伤比较重。
我今天用 awq w4a16的感受就是这样。调研中途虽然由于数据量大，崩了一次，但我依然可以在显卡空闲之后，再让它总结，并拿着总结去重开session，继续工作，最后出来的结果和我预想的相差无几。
