一、背景与结论

之前 8080 主力是花了好大精力调优的 Qwen3.8-Flash-Next（QFN-IQ3_XXS，Strata 跑的）。但是Strata这个玩意就没有并发，PP速度也是慢了点，处理工程文件的时候很痛苦。做了大量的俩模型输出质量测试，发现质量没有什么肉眼可见的变化，只是flash next的输出细腻度确实高一些，毕竟脑容量大，再三权衡之后最后还是决定换回 PaitonMvLLM跑27B（W3A4），证据很充分：

C1：200K 冷读 176.3s → 91.3s（1.9×）
C1：200K 二次命中 28.4s → 1.7s（16.7×）
C4：墙钟 36.8s → 4.3s，聚合 9.7 → 107.6 tok/s（11.1×）

QFN 的 C4 是排队——四条 TTFT 0.7/8.4/17.6/25.4 秒；27B 是 0.1/0.6/0.6/0.7 秒，真并发。

3bit 够不够强？同 20 题逐组对照，两边完全相同：200K长文 3/3、识图 6/6、并发 4/4、工程计算 2/3、代码 0/2（判分严实际对）、结构化 1/2（同）。人工复核 19 vs 18。

结论：27B 又快又不弱，但数学不可信——日常 110 题 92.7%、高数 70 题 75.7%。

二、问题定位

把 26 道错题按类别拆开，发现一件反直觉的事：

单位换算（长度/面积/重量）15/15 全对
百分比/折扣/税费 25/25 全对
小费分摊 2/5（最差）
温度 4/5、配比 4/5、加权 4/5、复利 4/5、日期 4/5
高数 14 类 53/70

26 道错题里，零道是算术错。全是：公式用错（加权平均算成简单平均）、语义偏（"每人付"）、边界（日期含不含首日、样本还是总体）、单位链（45m@1:1000 答 45cm）。

结论：算术可以外包，公式不行。

三、方案与实现

两层：模型只出「子命令 + 参数」，calc 出全部数值。

calc 是 systemd 常驻服务（sympy 只 import 一次，跨机 42ms）：

calc eval "4827+3916"                  → 8743
calc tip 240 20 3                      → 96.00
calc diff "x**2*exp(x)" --at 1         → 8.155
calc det "[[1,2,3],[4,5,6],[7,8,10]]"  → -3
calc stat "2,4,4,4,5,5,7,9" --ddof 0   → 方差 4.00

子命令：eval conv pct tip temp ratio wavg compound dates diff integ limit solve det inv matmul binom comb stat vec cplx

真正的体力活是接口容错——模型不会按你的文档传参：

{"cmd":"add"} → 加 add/mul 别名
eval "sqrt((3-6)^2+...)" → 表达式支持 sqrt/log/exp/sin，^ 认作幂
det "[[1,2,3],[4,5,6]]" → 矩阵认 JSON 数组/分号/换行
integ "x^2+1" 0 2 → 认位置参数
stat "3,5,7,9 std" → 认 std/variance/总体/样本，容忍多余词
binom 10 4 0.3 → 自动识别 n/p/k 顺序
wavg 80 90 70 3 2 1 → 自动判断"值组+权重组"
solve "x**2-2*x-1=0" → 自动去 =0
参数写错 → 打印正确用法，让模型自己改

四、注入

工具做好，模型不一定用。第一次实测 27 题只有 9 题主动调。

解法是写进 chat template，不是写提示词：

{%- set CALC_RULE = "【计算纪律】凡涉及数值计算……必须调用 calc 工具，禁止心算。
拿到工具结果后立即给出最终答案，不要重复调用；收尾：自检：单位✓ 量级✓ 工具✓" %}
{{- "<|im_start|>system\n" + CALC_RULE + "<|im_end|>\n" }}

改模板不改客户端，任何 agent 接进来都一样。验证方法很土：问它"系统提示里关于计算的规则怎么写的"，能一字不差背出来。结果：27/27 全部调工具。

五、折腾经过

先走了两条弯路：加了代理层（模型前面套一个自动执行 tool_call 的 proxy），能用，但违背"越简单越好"；又把模型挪到 8090 让 proxy 占 8080，所有客户端配置都要跟着改。最后全拆了，回到不改端口、不加中间层，只改模板。

calc 一开始是每次新起 Python，sympy import 350ms，单次 540ms。改成 systemd 常驻后 42ms。

模型会写 {"cmd":"add"} 这种名字，加了别名还得在工具描述里写"四则用 eval"。

拿到工具结果还会再调一次，模板加"直接作答，不要重复调用"。

3×3 行列式两个都答 0——不是算错，是根本不会展开。

复数 (2+3i)(1−2i)，3i×(−2i) 算成 −6（应 +6），分配律符号。

测的时候判分取第一个数字，题面数字先出现，把 14.0 判成 −10；改成"任一数字命中即通过"。

全角减号 −1 和 -1 认不出。

六、结果

27 道必错题，修复 26（96%），工具调用 27/27。

小费 3/3、温度 2/2、配比 1/1、加权 1/1、复利 1/1、日期 1/1、比例尺 1/1、导数 3/3、定积分 1/1、行列式 2/2、矩阵 2/2、概率 2/2、统计 2/2、向量 2/2、复数 2/2、多项式 0/1（单跑两次都过，批量偶发空正文）。

代价：每题 +0.65 秒（多一轮请求 + 工具执行），绝对值 0.78s/题，无感。

说明：

能外包的：算术、单位换算、日期、矩阵/积分/统计。不能外包的：公式选择、题意识别、边界定义——后者只能靠模板固化，写死公式让模型填参数。

部署就三样：docker-compose.yml（端口不变）、chat_template_calc.jinja（纪律写死）、calc.service（systemd，sympy 常驻）。

个人的repo，欢迎指教
https://github.com/halonc/local-llm-27b-reliability-boost