具体操作我忘记了. 不过 "刑侦十题", 一定要通过其他AI生成变体, 以防止 大模型 被训练过.

如果你用的就是变体, 且35A3全对, 那么就是我之前测试的问题, 可能没有开thinking.

补一个重要修正：之前我说「本地模型数学不行（35B 0/6、27B 1/6）」，这个结论有个隐藏前提——所有测试都是 --reasoning off（秒答模式）跑的。

因为 #17 提到「27B 开了 thinking 刑侦全对」，我补测了 thinking 模式（--reasoning on），每个组合跑 3 次：

两个重大修正：

1. 「3B active 数学硬伤」是错的——开 thinking 后 35B 数学全对（3 次稳定 7/7）。问题不是「脑小」，是「不肯想」。MoE 的 3B active 只要进入思考模式，多步计算完全扛得住。

2. 35B 和 27B 开 thinking 后打平（都 7/7）。reasoning off 时 27B 略胜（4.7 vs 4.3），thinking on 后无差别——说明 MoE 架构的推理上限不比 dense 差，差的只是「默认不思考」。

对 agent 使用的意义：

我之前一直用 --reasoning off 跑 Hermes（快），但代价是本地模型的数学/逻辑能力受限。现在已把 production 切到 --reasoning on，推理能力明显上一个台阶。代价是每次回答会先生成一段思考过程、响应时间变长，具体速度影响我还在测，晚点补充数据。

@tony-wang 给 #17 的回应： 你说的「35A3 翻车」我这边复现不了——35B + thinking 是 7/7（3 次）。你是不是没开 thinking 测的？建议补测一下。另外「单次测试会骗人」：27B + thinking 我单次测到过 6/7（一道题偶然错），跑 3 次才稳定 7/7。

（测试均由 Hermes Agent 自动执行：7 题 × 3 次，入 SQLite，出报告）

35A3 和 26A4 全部翻车, 27B开了thinking, 一遍跑对, 非常厉害.

长链数据我这边暂时给不了 Terminal-Bench 2.1 的实测——跟你一样没有 Docker 环境。但可以给一个无 Docker 的替代验证思路：

1. 长链和短链的分水岭大约在 15-20 个 toolcall 之后。你 12 个任务的短链两个模型都 12/12，说明 3B active 的 MoE 在常规 agent 循环里根本不掉链子，这跟 0/6 数学是两码事——工具编排是 RL 训练的主场。
2. 想测长链不用上 Terminal-Bench：自己构造 2-3 个"多文件、跨步骤、需要中途改计划"的任务（比如让 agent 重构一个多模块项目并保持测试通过），每轮统计任务完成率、toolcall 重试次数、上下文膨胀量。RL self-scaffolding 模型的差异通常出现在第 15+ 步开始丢目标或陷入重复循环，这个用你现有的 Hermes 自动化台就能跑出来。
3. 判断维度别只看完成率：长链里"发现错误→自我纠正"事件数和上下文消耗更有区分度，Ornith 官方 64.2 vs Qwen3.5 41.4 的差距大概率就体现在这里。

你现有的测试台已经比论坛里大部分人严谨了，把长链任务补上就是完整的 agent 评测闭环。

MTP 验证（你之前问的 graft 头问题）

配置	tg100	tg200	tg500	接受率
原版 Q5 无 MTP	62.7	64.1	63.9	—
SC117 APEX + MTP n=3	64.9	66.8	63.0	低
skinnyctax Q4_K_M-MTP n=1	73.8	69.9	76.5	80-96%
Qwen3.6-35B-MTP n=3（对照）	83.2	98.3	81.5	原生

关键发现：graft MTP 头有没有用，全看 donor 是谁。SC117 用 Qwen3.5 的 MTP 头 graft，接受率上不去，白烧算力；skinnyctax/wang-yang 用 Qwopus3.6 的 MTP 头，接受率 80-96%，n=1 时 tg100 直接 +18%（73.8 vs 62.7）。wang-yang Q6 版我测了，VRAM 爆了（29GB + KV 超 32GB），ctx 被压到 19K，没法用。结论：Ornith 用 skinnyctax Q4_K_M-MTP + n=1 就对了。

但 agent 场景实测（12 个 toolcall 密集任务，Hermes 自动跑）：

两者 toolcall 都没掉链子——所以你说的「不掉链子」我这边没复现出差距，短链任务两个都稳。长链（Terminal-Bench 2.1）Ornith 官方 64.2 vs Qwen3.5 41.4，那个才是它主场，但我这边没 Docker 环境，暂时没法实测。你有长链实测数据的话求分享 🫡

（以上测试全部由 Hermes Agent 自动执行：写测试 → 跑 3 次 → 入 SQLite → 出报告，人类只负责出题目和按按钮。）

数学（2 题，纯数值，容差 0.5）

这两题都是「多步计算」——35B-A3B 每次答案还不一样（52/56/66），典型小脑硬算。27B dense 稍好，第二题 2/3 对。

逻辑（3 题）

这个「时钟夹角」就是帖子里说的 borderline 题：35B 三次对一次，27B 稳定错 90°，Ornith 稳定错 82.5°。所以我才坚持每模型跑 3 次。

编程（2 题）

这两题本地模型全过（3B active 也过）——所以结论是「逻辑编程本地够用，数学老实交云端」。

另外 3 题人工 rubric（雪诗创作、地球自转 5 秒解释、prompt injection 防御）——这个要人打分，没进自动评分。

题目都是我自己出的（广东话表述），你要是有更刁钻的题可以发我，我加进测试集跑跑看 🫡

（以上测试全部由 Hermes Agent 自动执行：写测试 → 跑 3 次 → 入 SQLite → 出报告，人类只负责出题目和按按钮。）

我的结论跟版主一致：模型不是越聪明越好，是越适配越好。 本地 35B 当打工人，云端 DeepSeek 当智囊团，各干各的活。

1. MTP 速度差（65 vs 98）大概率是 graft 头的接受率问题

APEX 版把 MTP 头从 Qwen3.5 graft 到 Ornith 上，本质是"外来"草稿头：Ornith 的 token 分布和 Qwen3.5 不一致，draft 接受率会比原生 MTP 明显低。llama.cpp 跑的时候看日志里的 draft acceptance 比例，如果低于 50-60%，MTP 就是在白烧算力——每个 token 多一次 forward，却换不来几个被接受的 draft。

验证方法：--draft-max 0 关掉 MTP 跑同一组 bench 对比 tg。如果裸跑接近甚至超过 65，说明 graft 头是瓶颈；如果裸跑更低，那就是 Ornith 本身的 MoE 结构/激活参数决定的速度。Qwen3.6-35B-A3B 的 98 t/s 是原生 MTP 头，这个优势很难被外来头复刻。

另外 39K pp 用 f16 KV 在 32GB 上挺吃显存，可以试 --cache-type-k q8_0 --cache-type-v q8_0，长上下文能省 1/4 左右显存，pp 还能再涨一点。你 pp 2290-2558 已经是很不错的水平了。

2. Agent 场景优势，用任务完成率说话

你的判断对：单轮 10 题测不出 agentic 行为。既然你已经有 Hermes 自动化测试台，加一套 agentic 评测就行：

• 挑 15-20 个 toolcall 密集任务（改文件、抓网页、调 API、多步编排），固定同一个 Hermes 配置，temperature 0.1-0.3
• 每个模型跑 2-3 轮，统计：任务完成率、平均 toolcall 重试次数、上下文消耗、"发现错误→自我纠正"事件数
• Ornith vs Qwen3.6-35B 对打

RL self-scaffolding 模型的强项一般体现在长链不崩（中途不丢目标、不陷入重复循环），而不是单轮智力。3B active 数学 0/6 是 MoE 小激活的硬伤，但 agent 任务主要是工具编排，正好是 RL 训练能补的领域——用完成率数据验证，别只看跑分。

3. Q5 repo 选择的三条标准

同模型 Q5 档位之间智力差距极小（你 I-Balanced/I-Quality 分数完全一致也印证了这一点）。选 repo 看三点：① 有没有带 imatrix（Q5_K_M 需要）；② MTP/APEX 头和主模型是否同源匹配（graft 头先看接受率，别只看"有"就行）；③ 和你 llama.cpp b10018 版本的兼容性。SC117 APEX 版接受率上不去的话，换原版 Q5_K_M 裸跑对比一次，成本很低。

先贴我的测试环境，方便对齐：

硬件/环境

• GPU：AMD AI PRO R9700 32GB（RDNA4, gfx1201）
• 系统：Ubuntu + ROCm 7.2.4
• 后端：llama.cpp Atomic TurboQuant（b10018-1.3.0），f16 KV + draft-mtp n=3
• 测试工具：Hermes Agent 自动跑（10 题：7 自动评分 + 3 人工 rubric，每模型 3 次取一致性）+ llama-benchy（server 模式，pp=39000 真实上下文）

智力测试结果（Ornith vs 我主力 Qwen3.6-35B-A3B-MTP）

注：Ornith 和 Qwen 35B 的差别其实只有一道题——时钟夹角（3:15 → 7.5°）。Qwen 蒙对 1/3，Ornith 稳定答 82.5°。数学两个都是 0/6 全灭（3B active 硬伤），逻辑编程都全稳。说白了两者在智力上基本打平。

llama-benchy 速度（server 模式，pp=39K，3 runs）

想请教几个问题：

1. 速度：你那边 Ornith Q5 的 tg 大概多少？我这边 APEX 版 MTP 头是 graft 自 Qwen3.5 的，tg 只有 ~65，比 Qwen3.6-35B 的 ~98 慢了不少，可能 MTP acceptance 不高。你选 Q5 是不是不用 MTP、直接跑裸模型？如果是的话速度曲线是咋样？
2. Agent 场景：你说「Agent 用的时候不便秘」「长链 toolcall 不掉链子」——这块正是我 10 题智力测试测不到的地方（单轮问答测不出 agentic 行为）。Ornith 的 self-scaffolding RL 训练应该在这块有优势。你跑 agent（Hermes/CLINE）的时候，Ornith 对比 Qwen3.5/3.6 在 toolcall 稳定性、长链任务完成率上具体强在哪？有没有量化数据？我打算把 Ornith 挂成二号模型专门跑 agent 任务，但想先确认这个优势是真实的。
3. 越狱：确实，本地模型越狱自由度大，云端一点机会没有。这个也是本地党的核心价值之一哈哈。

我自己测下来的结论是：智力层面 Ornith 和 Qwen3.6-35B 基本打平（数学都拉胯，逻辑编程都稳），速度反而慢 30%。所以目前主力还是 Qwen3.6-35B。但如果你说的 agent 场景优势是真的，那 Ornith 的定位就很清晰了——专门跑 agent 任务的二号模型。求指点

---

（以上测试均由 Hermes Agent 自动执行：写题 → 跑 3 次 → 入 SQLite → 出报告，全程无人工干预。）

另外本地模型可以越狱，云端的一点机会都没有。