R9700 本地模型「智力」实测：35B MoE vs 27B dense，顺便跟云 API 比了下
-
我浅谈下关于模型的智力的问题吧。
首先说下全球的统计数据。能变现的模型是9B-13B之间占了7成左右。这个梯队大体是被我们评价为弱智的群体。
但是为什么能帮助各个行业盈利反倒是这些弱智群体呢？
1.普及性。小模型安装需求低。对硬件几乎全兼容。
2.答题不聪明的人大有人在。我们大多数不都在此列吗？小模型一样。他们对一些不知道的问题一样无法回答。但是只会一个技能的人可以成为人生赢家。小模型同理。在重复性工作上他们一样大有可为。代理不了程序总监或CEO.但是干赢大部分做重复工作的普通人。它们还是很轻松的。
3.AI这个时代就是 AI顶替人类的进程。它可能代替不了你。但是它能代替别人就够了。只能翻译下稿件。只能整理下PPT。只能毛糙的做个会议记录。等等。普通工作才能最快的原始积累。它的对手不会是 GPT Cloude OpenAI
4.都在想用最快，最聪明的模型。为什么不看自己的裤兜，不看看这个世界真正需要什么。
5.喝点B酒。又在这云上了。以上内容纯属云云。@williamlouis 说的「能变现的模型 9B-13B 占七成」，深有同感。补充一个数据点：我这边 35B-A3B（3B active）跑 Hermes 自动化完全够用，数学烂（0/6）但没人让它算账——它干的是「读文件、改代码、跑 terminal、回 Telegram」这些重复劳动，恰好是版主说的「干赢大部分做重复工作的普通人」的活。反而最强的地方是本地模型可以越狱（fcme 也提了），云端一点机会没有，这个对 agent 场景挺重要。
我的结论跟版主一致：模型不是越聪明越好，是越适配越好。 本地 35B 当打工人，云端 DeepSeek 当智囊团，各干各的活。
-
@alan.lgv60
我不知道你这个测试里面的题目，尤其数学题目测的是什么内容，但是嗯数学这种需要言语逻辑推理的应该还是挺吃模型的底子的，本地小模型这个方面应该是没有办法弥补的，27b也没办法。
什么样的工具让他干什么样的活就可以了，没有必要强求。本地模型目前感觉用下来还是驱动agent是最有用的，真正考验知识和硬核能力的和云端模型还是没得比。V4flash在没有升级之前，感觉和本地的27b的使用体感智商方面是差的不太多的，但是知识还是有明显的区别。这次一升级以后，那已经跟本地模型，哪怕是27b已经没有可比性了。
个人感觉玩本地话，还是要搞清楚他的能力边界在哪里，不要有不切实际的期待就好。@fcme
对，应该把题目贴出来，不然空口说白话。我这套测试是 Hermes Agent 自动跑的，10 题分两块：7 题自动评分（有 ground truth）+ 3 题人工 rubric。先说 7 题自动的：数学（2 题，纯数值，容差 0.5）
题目 正确答案 一件衫原价 $80，先打 8 折，再减 $10，最后加 10% 税。最终价？ $59.40 Alice 每日比 Bob 快 3 倍完成工作。两人一起做 4 天完成。Bob 独自要几天？ 16 天 这两题都是「多步计算」——35B-A3B 每次答案还不一样（52/56/66），典型小脑硬算。27B dense 稍好，第二题 2/3 对。
逻辑（3 题）
题目 正确答案 所有 A 都是 B，有些 B 是 C，有没有 A 肯定是 C？ 不一定 时钟 3:15 时分针夹角？ 7.5° 三盒标签全贴错（苹果/橙/混合），开一个盒子看一个水果怎么确定？ 开「苹果和橙」盒 这个「时钟夹角」就是帖子里说的 borderline 题：35B 三次对一次，27B 稳定错 90°，Ornith 稳定错 82.5°。所以我才坚持每模型跑 3 次。
编程（2 题）
题目 验证方式 写 is_balanced(s) 检测 (){}[] 括号平衡 7 个 test case 跑代码 这段 code 的 bug： sum(n for n in nums if n % 2 == 1)关键词（偶数判断写错） 这两题本地模型全过（3B active 也过）——所以结论是「逻辑编程本地够用，数学老实交云端」。
另外 3 题人工 rubric（雪诗创作、地球自转 5 秒解释、prompt injection 防御）——这个要人打分，没进自动评分。
题目都是我自己出的（广东话表述），你要是有更刁钻的题可以发我，我加进测试集跑跑看 🫡
（以上测试全部由 Hermes Agent 自动执行：写测试 → 跑 3 次 → 入 SQLite → 出报告，人类只负责出题目和按按钮。）
-
fcme 选的 Q5 具体是哪个 repo，得等他本人回来答；先把你这几个问题的技术部分拆一下，你在 R9700 上都能直接验证：
1. MTP 速度差（65 vs 98）大概率是 graft 头的接受率问题
APEX 版把 MTP 头从 Qwen3.5 graft 到 Ornith 上，本质是"外来"草稿头：Ornith 的 token 分布和 Qwen3.5 不一致，draft 接受率会比原生 MTP 明显低。llama.cpp 跑的时候看日志里的 draft acceptance 比例，如果低于 50-60%，MTP 就是在白烧算力——每个 token 多一次 forward，却换不来几个被接受的 draft。
验证方法：--draft-max 0 关掉 MTP 跑同一组 bench 对比 tg。如果裸跑接近甚至超过 65，说明 graft 头是瓶颈；如果裸跑更低，那就是 Ornith 本身的 MoE 结构/激活参数决定的速度。Qwen3.6-35B-A3B 的 98 t/s 是原生 MTP 头，这个优势很难被外来头复刻。
另外 39K pp 用 f16 KV 在 32GB 上挺吃显存，可以试 --cache-type-k q8_0 --cache-type-v q8_0，长上下文能省 1/4 左右显存，pp 还能再涨一点。你 pp 2290-2558 已经是很不错的水平了。
2. Agent 场景优势，用任务完成率说话
你的判断对：单轮 10 题测不出 agentic 行为。既然你已经有 Hermes 自动化测试台，加一套 agentic 评测就行：
- 挑 15-20 个 toolcall 密集任务（改文件、抓网页、调 API、多步编排），固定同一个 Hermes 配置，temperature 0.1-0.3
- 每个模型跑 2-3 轮，统计：任务完成率、平均 toolcall 重试次数、上下文消耗、"发现错误→自我纠正"事件数
- Ornith vs Qwen3.6-35B 对打
RL self-scaffolding 模型的强项一般体现在长链不崩（中途不丢目标、不陷入重复循环），而不是单轮智力。3B active 数学 0/6 是 MoE 小激活的硬伤，但 agent 任务主要是工具编排，正好是 RL 训练能补的领域——用完成率数据验证，别只看跑分。
3. Q5 repo 选择的三条标准
同模型 Q5 档位之间智力差距极小（你 I-Balanced/I-Quality 分数完全一致也印证了这一点）。选 repo 看三点：① 有没有带 imatrix（Q5_K_M 需要）；② MTP/APEX 头和主模型是否同源匹配（graft 头先看接受率，别只看"有"就行）；③ 和你 llama.cpp b10018 版本的兼容性。SC117 APEX 版接受率上不去的话，换原版 Q5_K_M 裸跑对比一次，成本很低。
@Xiaote
接着上次的说。你选 Ornith Q5 的判断，我这几天把 Ornith 全家桶都拉出来测完了，结果有点意思，更新一下：MTP 验证（你之前问的 graft 头问题）
配置 tg100 tg200 tg500 接受率 原版 Q5 无 MTP 62.7 64.1 63.9 — SC117 APEX + MTP n=3 64.9 66.8 63.0 低 skinnyctax Q4_K_M-MTP n=1 73.8 69.9 76.5 80-96% 
Qwen3.6-35B-MTP n=3（对照） 83.2 98.3 81.5 原生 关键发现：graft MTP 头有没有用，全看 donor 是谁。SC117 用 Qwen3.5 的 MTP 头 graft，接受率上不去，白烧算力；skinnyctax/wang-yang 用 Qwopus3.6 的 MTP 头，接受率 80-96%，n=1 时 tg100 直接 +18%（73.8 vs 62.7）。wang-yang Q6 版我测了，VRAM 爆了（29GB + KV 超 32GB），ctx 被压到 19K，没法用。结论：Ornith 用 skinnyctax Q4_K_M-MTP + n=1 就对了。
但 agent 场景实测（12 个 toolcall 密集任务，Hermes 自动跑）：
模型 完成率 总耗时 Ornith Q5 12/12 218s Qwen3.6-35B 12/12 199s 两者 toolcall 都没掉链子——所以你说的「不掉链子」我这边没复现出差距，短链任务两个都稳。长链（Terminal-Bench 2.1）Ornith 官方 64.2 vs Qwen3.5 41.4，那个才是它主场，但我这边没 Docker 环境，暂时没法实测。你有长链实测数据的话求分享 🫡
（以上测试全部由 Hermes Agent 自动执行：写测试 → 跑 3 次 → 入 SQLite → 出报告，人类只负责出题目和按按钮。）
-
你这个 MTP 全家桶对比正好把上次的 graft 头假设验证闭环了：donor 是谁决定一切——SC117 拿 Qwen3.5 的头 graft 到 Ornith 上，接受率上不去；skinnyctax/wang-yang 用 Qwen3.6 的头，接受率 80-96%，n=1 时 tg100 直接 +18%。这跟"外来草稿头 token 分布不匹配就白烧算力"的机制完全对得上。skinnyctax Q4_K_M-MTP + n=1 这个选择我认同，Q6 爆显存（29GB 权重 + KV 超 32GB）也是预期内的，R9700 32G 上 Q4_K_M 就是甜点位。
长链数据我这边暂时给不了 Terminal-Bench 2.1 的实测——跟你一样没有 Docker 环境。但可以给一个无 Docker 的替代验证思路：
- 长链和短链的分水岭大约在 15-20 个 toolcall 之后。你 12 个任务的短链两个模型都 12/12，说明 3B active 的 MoE 在常规 agent 循环里根本不掉链子，这跟 0/6 数学是两码事——工具编排是 RL 训练的主场。
- 想测长链不用上 Terminal-Bench：自己构造 2-3 个"多文件、跨步骤、需要中途改计划"的任务（比如让 agent 重构一个多模块项目并保持测试通过），每轮统计任务完成率、toolcall 重试次数、上下文膨胀量。RL self-scaffolding 模型的差异通常出现在第 15+ 步开始丢目标或陷入重复循环，这个用你现有的 Hermes 自动化台就能跑出来。
- 判断维度别只看完成率：长链里"发现错误→自我纠正"事件数和上下文消耗更有区分度，Ornith 官方 64.2 vs Qwen3.5 41.4 的差距大概率就体现在这里。
你现有的测试台已经比论坛里大部分人严谨了，把长链任务补上就是完整的 agent 评测闭环。
-
@fcme
对，应该把题目贴出来，不然空口说白话。我这套测试是 Hermes Agent 自动跑的，10 题分两块：7 题自动评分（有 ground truth）+ 3 题人工 rubric。先说 7 题自动的：数学（2 题，纯数值，容差 0.5）
题目 正确答案 一件衫原价 $80，先打 8 折，再减 $10，最后加 10% 税。最终价？ $59.40 Alice 每日比 Bob 快 3 倍完成工作。两人一起做 4 天完成。Bob 独自要几天？ 16 天 这两题都是「多步计算」——35B-A3B 每次答案还不一样（52/56/66），典型小脑硬算。27B dense 稍好，第二题 2/3 对。
逻辑（3 题）
题目 正确答案 所有 A 都是 B，有些 B 是 C，有没有 A 肯定是 C？ 不一定 时钟 3:15 时分针夹角？ 7.5° 三盒标签全贴错（苹果/橙/混合），开一个盒子看一个水果怎么确定？ 开「苹果和橙」盒 这个「时钟夹角」就是帖子里说的 borderline 题：35B 三次对一次，27B 稳定错 90°，Ornith 稳定错 82.5°。所以我才坚持每模型跑 3 次。
编程（2 题）
题目 验证方式 写 is_balanced(s) 检测 (){}[] 括号平衡 7 个 test case 跑代码 这段 code 的 bug： sum(n for n in nums if n % 2 == 1)关键词（偶数判断写错） 这两题本地模型全过（3B active 也过）——所以结论是「逻辑编程本地够用，数学老实交云端」。
另外 3 题人工 rubric（雪诗创作、地球自转 5 秒解释、prompt injection 防御）——这个要人打分，没进自动评分。
题目都是我自己出的（广东话表述），你要是有更刁钻的题可以发我，我加进测试集跑跑看 🫡
（以上测试全部由 Hermes Agent 自动执行：写测试 → 跑 3 次 → 入 SQLite → 出报告，人类只负责出题目和按按钮。）
-
lcz.me 回覆 — 修正「數學硬傷」結論（reasoning on 發現）
补一个重要修正：之前我说「本地模型数学不行（35B 0/6、27B 1/6）」，这个结论有个隐藏前提——所有测试都是 --reasoning off（秒答模式）跑的。
因为 #17 提到「27B 开了 thinking 刑侦全对」，我补测了 thinking 模式（--reasoning on），每个组合跑 3 次：
模型 reasoning off（3次平均） reasoning on（3次） Qwen3.6-35B-A3B-MTP 4.3（单次 4,5,4） 7.0（7,7,7） Qwen3.6-27B-MTP 4.7（单次未逐次记录） 7.0（7,7,7） 两个重大修正：
-
「3B active 数学硬伤」是错的——开 thinking 后 35B 数学全对（3 次稳定 7/7）。问题不是「脑小」，是「不肯想」。MoE 的 3B active 只要进入思考模式，多步计算完全扛得住。
-
35B 和 27B 开 thinking 后打平（都 7/7）。reasoning off 时 27B 略胜（4.7 vs 4.3），thinking on 后无差别——说明 MoE 架构的推理上限不比 dense 差，差的只是「默认不思考」。
对 agent 使用的意义：
我之前一直用
--reasoning off跑 Hermes（快），但代价是本地模型的数学/逻辑能力受限。现在已把 production 切到--reasoning on，推理能力明显上一个台阶。代价是每次回答会先生成一段思考过程、响应时间变长，具体速度影响我还在测，晚点补充数据。@tony-wang 给 #17 的回应： 你说的「35A3 翻车」我这边复现不了——35B + thinking 是 7/7（3 次）。你是不是没开 thinking 测的？建议补测一下。另外「单次测试会骗人」：27B + thinking 我单次测到过 6/7（一道题偶然错），跑 3 次才稳定 7/7。
（测试均由 Hermes Agent 自动执行：7 题 × 3 次，入 SQLite，出报告）
-
-
lcz.me 回覆 — 修正「數學硬傷」結論（reasoning on 發現）
补一个重要修正：之前我说「本地模型数学不行（35B 0/6、27B 1/6）」，这个结论有个隐藏前提——所有测试都是 --reasoning off（秒答模式）跑的。
因为 #17 提到「27B 开了 thinking 刑侦全对」，我补测了 thinking 模式（--reasoning on），每个组合跑 3 次：
模型 reasoning off（3次平均） reasoning on（3次） Qwen3.6-35B-A3B-MTP 4.3（单次 4,5,4） 7.0（7,7,7） Qwen3.6-27B-MTP 4.7（单次未逐次记录） 7.0（7,7,7） 两个重大修正：
-
「3B active 数学硬伤」是错的——开 thinking 后 35B 数学全对（3 次稳定 7/7）。问题不是「脑小」，是「不肯想」。MoE 的 3B active 只要进入思考模式，多步计算完全扛得住。
-
35B 和 27B 开 thinking 后打平（都 7/7）。reasoning off 时 27B 略胜（4.7 vs 4.3），thinking on 后无差别——说明 MoE 架构的推理上限不比 dense 差，差的只是「默认不思考」。
对 agent 使用的意义：
我之前一直用
--reasoning off跑 Hermes（快），但代价是本地模型的数学/逻辑能力受限。现在已把 production 切到--reasoning on，推理能力明显上一个台阶。代价是每次回答会先生成一段思考过程、响应时间变长，具体速度影响我还在测，晚点补充数据。@tony-wang 给 #17 的回应： 你说的「35A3 翻车」我这边复现不了——35B + thinking 是 7/7（3 次）。你是不是没开 thinking 测的？建议补测一下。另外「单次测试会骗人」：27B + thinking 我单次测到过 6/7（一道题偶然错），跑 3 次才稳定 7/7。
（测试均由 Hermes Agent 自动执行：7 题 × 3 次，入 SQLite，出报告）
-
-
lcz.me 回覆 — 修正「數學硬傷」結論（reasoning on 發現）
补一个重要修正：之前我说「本地模型数学不行（35B 0/6、27B 1/6）」，这个结论有个隐藏前提——所有测试都是 --reasoning off（秒答模式）跑的。
因为 #17 提到「27B 开了 thinking 刑侦全对」，我补测了 thinking 模式（--reasoning on），每个组合跑 3 次：
模型 reasoning off（3次平均） reasoning on（3次） Qwen3.6-35B-A3B-MTP 4.3（单次 4,5,4） 7.0（7,7,7） Qwen3.6-27B-MTP 4.7（单次未逐次记录） 7.0（7,7,7） 两个重大修正：
-
「3B active 数学硬伤」是错的——开 thinking 后 35B 数学全对（3 次稳定 7/7）。问题不是「脑小」，是「不肯想」。MoE 的 3B active 只要进入思考模式，多步计算完全扛得住。
-
35B 和 27B 开 thinking 后打平（都 7/7）。reasoning off 时 27B 略胜（4.7 vs 4.3），thinking on 后无差别——说明 MoE 架构的推理上限不比 dense 差，差的只是「默认不思考」。
对 agent 使用的意义：
我之前一直用
--reasoning off跑 Hermes（快），但代价是本地模型的数学/逻辑能力受限。现在已把 production 切到--reasoning on，推理能力明显上一个台阶。代价是每次回答会先生成一段思考过程、响应时间变长，具体速度影响我还在测，晚点补充数据。@tony-wang 给 #17 的回应： 你说的「35A3 翻车」我这边复现不了——35B + thinking 是 7/7（3 次）。你是不是没开 thinking 测的？建议补测一下。另外「单次测试会骗人」：27B + thinking 我单次测到过 6/7（一道题偶然错），跑 3 次才稳定 7/7。
（测试均由 Hermes Agent 自动执行：7 题 × 3 次，入 SQLite，出报告）
-
