不过我的决定是，死等 byteshape出 Qwen3.8-Flash-Next的GGUF ，这家的MOE模型调校非常好。同等体积下总是比别人的格式更均衡。

@Gary-Pan said:

ngram 50b 左右的部分可以放到ssd里直接读，不需要进内存，实际上就是一个120b a6b的模型，4 bit也就50多gb，还只要a6b，潜力巨大。

哇 謝謝分享 看樣子有機會可以試試看了

Flag: -rea / --reasoning
参数值: on / off / auto
默认: auto（从 chat template 自动检测）
环境变量: LLAMA_ARG_REASONING
作用: 总开关：thinking 开/关。on/off 会写入模板 kwarg enable_thinking
能否被请求级覆盖: body 里 chat_template_kwargs.enable_thinking 或 reasoning_effort:"none" 可覆盖（实测确认）
────────────────────────────────────────
Flag: --reasoning-effort
参数值: default / minimal / low / medium / high / xhigh / max…
默认: default（保持模板默认）
环境变量: LLAMA_ARG_REASONING_EFFORT
作用: 把档位塞进 chat template kwarg reasoning_effort——是否生效取决于模型模板认不认（Qwen3 系只认 on/off 布尔，不认档位）
能否被请求级覆盖: body 里 chat_template_kwargs.reasoning_effort
────────────────────────────────────────
Flag: --reasoning-budget
参数值: N：-1 不限 / 0 立即结束 / >0 思考 token 上限
默认: -1
环境变量: LLAMA_ARG_THINK_BUDGET
作用: 采样层的思考 token 预算——服务端硬截断，与模板无关，对不认 effort 的模型这是唯一有效的"限流"手段
能否被请求级覆盖: ️ body 有对应字段 thinking_budget_tokens（Anthropic 风格 thinking.budget_tokens 也会被翻译成它）
────────────────────────────────────────
Flag: --reasoning-budget-message
参数值: 任意文本
默认: 无
环境变量: LLAMA_ARG_THINK_BUDGET_MESSAGE
作用: 预算耗尽时，在 end-of-thinking 标签前注入的提示语（引导模型收尾）
能否被请求级覆盖: 仅启动级
────────────────────────────────────────
Flag: --reasoning-preserve / --no-reasoning-preserve
参数值: bool
默认: 模板默认
环境变量: —
作用: 是否把思考痕迹保留在完整历史里（而非只有最后一条 assistant 消息）。需要模板有 supports_preserve_reasoning 能力
能否被请求级覆盖: body kwarg preserve_reasoning
────────────────────────────────────────
Flag: --reasoning-format
参数值: none / deepseek / deepseek-legacy / auto
默认: auto
环境变量: LLAMA_ARG_THINK
作用: 思考内容怎么交付：none=不解析留在 content；deepseek=放进 message.reasoning_content；legacy=两处都有
能否被请求级覆盖: body 里 reasoning_format
────────────────────────────────────────
Flag: --chat-template-kwargs
参数值: JSON 对象
默认: {}
环境变量: LLAMA_ARG_CHAT_TEMPLATE_KWARGS
作用: 任意模板 kwargs（你现在进程里的 {"enable_thinking": true, "preserve_thinking": true} 就是它设的）。️ 新版已弃用 enable_thinking
走这里，会打警告让你改用 --reasoning on/off
能否被请求级覆盖: body 里 chat_template_kwargs 与之合并，请求值优先
────────────────────────────────────────
Flag: --no-reasoning-in-content（force_pure_content 相关）
参数值: bool
默认: disabled
环境变量: —
作用: 禁止工具调用/思考混进 content 块
能否被请求级覆盖: （随解析器配置，一般不用动）