Qwen3.8-27B「思考深度档位」优化

[neo]

Qwen3.8-27B「思考深度档位」优化

• 日期：2026-08-18
• 说明：以下是agent分析关于Qwen3.8-27B思考深度的一部分摘录，主要是有关“模板注入的系统指令”的原理和如何优化，弄懂这个些，我们就可以根据自己的情况来修改和布局自定义的思考深度挡位了。

---

1. 四个档位到底是什么

用一个比喻：考试答题前发卷时附的一张答题说明，不同档位 = 不同的说明纸。

档位	模板实际行为	白话解释
off	enable_thinking=false，生成提示词直接带空的	直接交卷，零思考
low	开启think，注入："Keep your thinking brief and focused, moving directly to the conclusion without unnecessary elaboration."	草稿纸只许写几行，直奔答案
medium	开启think，不注入任何额外指令	草稿纸随便你用，自便
xhigh（模板默认值）	开启think，注入："Reasoning effort is set to xhigh. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer."	按规矩做多步思考与检查

特性：

• 关键机制：三档之间没有任何硬 token 预算或采样参数差异——区别纯粹是注入 system prompt 的"思考契约文本"不同。所以只需要修改chat_template.jinja中相关内容即可。
• xhigh 是模板默认：请求不带 reasoning_effort 参数时，模板自动按 xhigh 处理（reasoning_effort|default('xhigh')）。
• 题目决定一切：对简单题，三个档位的思考长度几乎一样（实测 60–75 token）；差异只在难题上显现，而且不是单调的（见 3.1 的实测教训）。

---

2. 如何验证"现在用的是哪个档"（当日实测可用的四种方法）

按权威性从高到低：

1. 会话记录（最权威）——请求头的配置原样存档：

   zstd -dc /root/.dsh/sessions/<工作目录>/session-<id>/session.jsonl.zstd \
     | grep -o '.\{80\}reasoningEffort.\{120\}' | head -2
   

   当日结果：{"provider":"sglang","model":"Qwen3.8-27B-AWQ","reasoningEffort":"high","maxTokens":32000} → 本会话 = high = xhigh。

2. 看 system 提示词开头——模板只会为 xhigh 注入
   "Reasoning effort is set to xhigh..." 这一句；medium 不注入任何句子，low 是另一句。谁发的文，一眼可辨；也可以直接问模型"你 system 提示词的第一行是什么"。

3. 服务端自报家门：

   curl -s http://127.0.0.1:18080/get_model_info        # 拿到模型目录路径
   grep -n "reasoning_effort" <模型目录>/chat_template.jinja   # 看档位定义
   

   再用一个故意非法的值探针，模板会把支持的档位念出来：

   curl -s http://127.0.0.1:18080/v1/chat/completions -H 'Content-Type: application/json' -d '{
     "model":"Qwen3.8-27B-AWQ",
     "messages":[{"role":"user","content":"hi"}],
     "max_tokens":4,
     "chat_template_kwargs":{"reasoning_effort":"bogus"}}'
   # → 400: "Unexpected reasoning effort bogus.
   #    Supported types are xhigh (default), medium, and low."
   

4. A/B 实测——同一个问题按不同档位各打一发，对比 usage.reasoning_tokens：
   实测对照（提示词 tokens / 思考 tokens）：

   探针	prompt tokens	reasoning tokens
   简单题·不带参数（默认 xhigh）	64	63
   简单题·low	52	75
   简单题·medium	22	67
   简单题·xhigh	64	60
   简单题·off（enable_thinking=false）	24	0
   难题（max_tokens=1024）·low	—	867
   难题·medium	—	1024（顶到上限被截断，正文未生成）
   难题·xhigh	—	661

---

3. 如何优化「模板注入的系统指令」

3.1 为什么旧措辞"不够好"（诊断方法）

旧指令的词表是形容词：brief / carefully / validate / consider / prioritize。
实测教训（难题 A/B，max_tokens=1024）：

• medium 掉进"recheck 循环"：思考里反复出现 "Wait, that doesn't match. Let me recheck."，1024 个 token 全部烧完，思考在"正要重算"的半截被掐断，正文一个字都没出——思考没收尾，答案也不存在，这是最坏的结局；
• xhigh 反而想得最浅（661 < low 的 867 < medium 的 1024）："认真思考"这套话对这个模型没有强制力，深度高低完全看运气。

诊断口诀：指令没有操作性定义（多少算 brief？怎么验？何时停？），模型就把它当耳旁风。

3.2 四条写作法（把形容词换成可执行的契约）

1. 给锚点：用数字，不用形容词。"at most 30 words" 远比 "brief" 可执行；模型对具体数量的服从性好得多。
2. 给策略与分情形：一步能答的题 → 不提思路直接答；多步题 → 先列至多四步的短计划；有两条可行路径 → 比较一次就拍板（防止组合爆炸式的穷举）。
3. 肯定式的停止条件 + 熔断："The instant you can write the answer, stop."；"修正至多两次"；明令禁止重做同一件事（专治 A/B 里 medium 的 recheck 循环）。
4. 尺度与场景条款：琐碎任务每个阶段只许一行（防小题大做）；tools 场景声明"调用前先说出预期结果，拿结果对照预期，诊断至多两轮"（防 agent 循环里写三页作战计划）。

3.3 示例：当日写好的三个重写（可直接替换模板对应赋值）

① low·极简锚点版

Reasoning effort is set to low.
Think in at most ~30 words: state the approach in one line,
compute the key intermediate value if any, then answer.
Stop the moment you can write the answer;
do not re-verify or explore alternatives.

② low·分情形策略版

Reasoning effort is set to low.
If the task is answerable in one step, skip deliberation and answer directly.
If it is multi-step, write a one-line-per-step plan (at most 5 lines),
then execute it straight through without checking your work.
Verification and alternative approaches are reserved for other effort levels:
when in doubt, brevity wins.

③ xhigh·升级版（五道工序 + 强制收敛；英文版供模板，中文版供对照或直接替换）

Reasoning effort is set to xhigh: deep reasoning with a mandatory
convergence rule.
First restate the task in one to three sentences and name any
assumption you adopt where information is missing — do not silently
fill gaps.
If the task is multi-step, list a short plan of at most four steps
before solving, and if two solution paths look plausible,
compare them once and commit to one.
Solve cleanly, then verify the result by an independent method —
back-substitution, a units or magnitude check, or a second short
derivation — never by re-doing the same work.
If a check disagrees, diagnose the discrepancy and revise at most twice;
two agreeing derivations are enough.
Stop thinking the instant the answer is verified, then give the
final answer directly and concisely, state the assumptions you relied
on, and mark anything you are genuinely unsure about as such.
On trivial tasks each step above is at most one line.

思考深度设为 xhigh：深入推理，带强制收敛规则。
先用一两句话复述任务；信息缺失处明确声明你采用的假设，不许默填。
多步任务先列不超过四步的短计划；若两条路径都可行，比较一次即拍板。
干净解出后，用独立方法验证——回代、量纲或数量级检查、或另一条短推导——
禁止重做同一件事。
校验不符时定位原因，至多修正两次；两条推导一致即可收笔。
答案一经验证，立即停止思考，直接给出简洁的最终回答，
交代所依赖的假设，真正的不确定处如实标注。
琐碎任务中以上每步各一行即可。

④ off 无需改：结构上就是空 think，天然安全，不用动。

改写对照（看每一句在治什么）：

旧 xhigh 原句	病灶	升级版对策
"think carefully"	无操作性；实测反而想得最浅	Restate→Plan→Execute→Verify→Conclude 五段工序，深度由结构决定
"validate key assumptions"	没规定怎么验；A/B 中掉 recheck 循环直至被截断	必须独立方法（回代/量级/第二推导），禁止重做同一件事，修正至多两次
"consider plausible alternatives"	"consider" 没有终点	最多比两条路径，一次，拍板
"prioritize correctness, consistency, clarity"	没有停止条件	两条一致即止；验证通过立即停
（缺失）	无分情形，小题大做；agent 场景过规划	末尾尺度条款（琐碎任务每步一行）+ tools 句（预期先行，诊断至多两轮）

[包磊]

感谢！我先学，然后再让agent学。

[kos or]

除了開車外 現在連開AI都要打檔位了
爬坡 下山 高速檔

[terry]

卧槽，我现在发现分享的高质量帖子很多，我都没有置顶的位置了。

[stxpnet]

很好的分享，深受启发。

[neo]

测试了一些effort提示词：

[Grayson Ren]

感谢分享 已经用上了 DSH 上 qwen3.8 27b agent预设模版从标准换成自定义 然后思考开到 low 整个工具调用和过度思考控制的不错 之前标准版本 思考high 一个任务干到35分钟 现在基本 4-6分钟搞定