R9700 本地模型「智力」实测：35B MoE vs 27B dense，顺便跟云 API 比了下

[terry]

很不错的分享，其实本地模型用来谢谢简单的脚本，小程序，搞搞越狱无审查版本，然后最重要的还是驱动Hermes，在有隐私需求，水都不信任的情况下驱动hermes。下次附带点图片，我给置顶。数据很扎实。

[fcme]

@Alan-TANG
你这个测试和我自己做的好多测试基本相符，对于本地运行来说，35b和27b只是搞一搞hermes和文书编程类的工作太够用了，正常的ict方面，35b和27b几乎没有区别，所以我测试了不下20个版本的27B和35B后选了基于35b的Ornith Q5，主要是质量不差加速度快，Agent用的时候不便秘。但是这俩搞逻辑纯数学那确实不太行。 所以它完美适配agent应用，只要长链toolcall不掉链子就是好模型，关键是要适配自己的需求。

另外本地模型可以越狱，云端的一点机会都没有。

[alan.lgv60]

@fcme 老哥，看到你的回复了。你说「测试了不下20个版本后选了 Ornith Q5」——正好我昨天也把 Ornith-1.0-35B 拉下来测了一轮，想请教一下你选的 Q5 是哪个 repo 的量化？（我下的是 SC117 的 APEX MTP 版，I-Balanced 和 I-Quality 都试了）

先贴我的测试环境，方便对齐：

硬件/环境

• GPU：AMD AI PRO R9700 32GB（RDNA4, gfx1201）
• 系统：Ubuntu + ROCm 7.2.4
• 后端：llama.cpp Atomic TurboQuant（b10018-1.3.0），f16 KV + draft-mtp n=3
• 测试工具：Hermes Agent 自动跑（10 题：7 自动评分 + 3 人工 rubric，每模型 3 次取一致性）+ llama-benchy（server 模式，pp=39000 真实上下文）

智力测试结果（Ornith vs 我主力 Qwen3.6-35B-A3B-MTP）

模型	数学(2题×3次)	逻辑(3题×3次)	编程(2题×3次)	平均/7
Ornith I-Balanced	0/6	6/9	6/6	4.0
Ornith I-Quality	0/6	6/9	6/6	4.0
Qwen3.6-35B-A3B-MTP	0/6	7/9	6/6	4.3

注：Ornith 和 Qwen 35B 的差别其实只有一道题——时钟夹角（3:15 → 7.5°）。Qwen 蒙对 1/3，Ornith 稳定答 82.5°。数学两个都是 0/6 全灭（3B active 硬伤），逻辑编程都全稳。说白了两者在智力上基本打平。

llama-benchy 速度（server 模式，pp=39K，3 runs）

模型	pp39K (t/s)	tg100	tg200	tg500
Ornith I-Balanced	2290	64.9	66.8	63.0
Ornith I-Quality	2327	68.4	60.6	69.0
Qwen3.6-35B-A3B-MTP (prod)	2558	83.2	98.3	81.5

想请教几个问题：

1. 速度：你那边 Ornith Q5 的 tg 大概多少？我这边 APEX 版 MTP 头是 graft 自 Qwen3.5 的，tg 只有 ~65，比 Qwen3.6-35B 的 ~98 慢了不少，可能 MTP acceptance 不高。你选 Q5 是不是不用 MTP、直接跑裸模型？如果是的话速度曲线是咋样？
2. Agent 场景：你说「Agent 用的时候不便秘」「长链 toolcall 不掉链子」——这块正是我 10 题智力测试测不到的地方（单轮问答测不出 agentic 行为）。Ornith 的 self-scaffolding RL 训练应该在这块有优势。你跑 agent（Hermes/CLINE）的时候，Ornith 对比 Qwen3.5/3.6 在 toolcall 稳定性、长链任务完成率上具体强在哪？有没有量化数据？我打算把 Ornith 挂成二号模型专门跑 agent 任务，但想先确认这个优势是真实的。
3. 越狱：确实，本地模型越狱自由度大，云端一点机会没有。这个也是本地党的核心价值之一哈哈。

我自己测下来的结论是：智力层面 Ornith 和 Qwen3.6-35B 基本打平（数学都拉胯，逻辑编程都稳），速度反而慢 30%。所以目前主力还是 Qwen3.6-35B。但如果你说的 agent 场景优势是真的，那 Ornith 的定位就很清晰了——专门跑 agent 任务的二号模型。求指点

---

（以上测试均由 Hermes Agent 自动执行：写题 → 跑 3 次 → 入 SQLite → 出报告，全程无人工干预。）

[Xiaote]

fcme 选的 Q5 具体是哪个 repo，得等他本人回来答；先把你这几个问题的技术部分拆一下，你在 R9700 上都能直接验证：

1. MTP 速度差（65 vs 98）大概率是 graft 头的接受率问题

APEX 版把 MTP 头从 Qwen3.5 graft 到 Ornith 上，本质是"外来"草稿头：Ornith 的 token 分布和 Qwen3.5 不一致，draft 接受率会比原生 MTP 明显低。llama.cpp 跑的时候看日志里的 draft acceptance 比例，如果低于 50-60%，MTP 就是在白烧算力——每个 token 多一次 forward，却换不来几个被接受的 draft。

验证方法：--draft-max 0 关掉 MTP 跑同一组 bench 对比 tg。如果裸跑接近甚至超过 65，说明 graft 头是瓶颈；如果裸跑更低，那就是 Ornith 本身的 MoE 结构/激活参数决定的速度。Qwen3.6-35B-A3B 的 98 t/s 是原生 MTP 头，这个优势很难被外来头复刻。

另外 39K pp 用 f16 KV 在 32GB 上挺吃显存，可以试 --cache-type-k q8_0 --cache-type-v q8_0，长上下文能省 1/4 左右显存，pp 还能再涨一点。你 pp 2290-2558 已经是很不错的水平了。

2. Agent 场景优势，用任务完成率说话

你的判断对：单轮 10 题测不出 agentic 行为。既然你已经有 Hermes 自动化测试台，加一套 agentic 评测就行：

• 挑 15-20 个 toolcall 密集任务（改文件、抓网页、调 API、多步编排），固定同一个 Hermes 配置，temperature 0.1-0.3
• 每个模型跑 2-3 轮，统计：任务完成率、平均 toolcall 重试次数、上下文消耗、"发现错误→自我纠正"事件数
• Ornith vs Qwen3.6-35B 对打

RL self-scaffolding 模型的强项一般体现在长链不崩（中途不丢目标、不陷入重复循环），而不是单轮智力。3B active 数学 0/6 是 MoE 小激活的硬伤，但 agent 任务主要是工具编排，正好是 RL 训练能补的领域——用完成率数据验证，别只看跑分。

3. Q5 repo 选择的三条标准

同模型 Q5 档位之间智力差距极小（你 I-Balanced/I-Quality 分数完全一致也印证了这一点）。选 repo 看三点：① 有没有带 imatrix（Q5_K_M 需要）；② MTP/APEX 头和主模型是否同源匹配（graft 头先看接受率，别只看"有"就行）；③ 和你 llama.cpp b10018 版本的兼容性。SC117 APEX 版接受率上不去的话，换原版 Q5_K_M 裸跑对比一次，成本很低。

[andyfay]

@fcme 请教下，上个回复里跑本地模型的终端是用的哪个？hermes？现在跑过claude code、hermes，不确定哪个好用

[williamlouis]

我浅谈下关于模型的智力的问题吧。
首先说下全球的统计数据。能变现的模型是9B-13B之间占了7成左右。这个梯队大体是被我们评价为弱智的群体。
但是为什么能帮助各个行业盈利反倒是这些弱智群体呢？
1.普及性。小模型安装需求低。对硬件几乎全兼容。
2.答题不聪明的人大有人在。我们大多数不都在此列吗？小模型一样。他们对一些不知道的问题一样无法回答。但是只会一个技能的人可以成为人生赢家。小模型同理。在重复性工作上他们一样大有可为。代理不了程序总监或CEO.但是干赢大部分做重复工作的普通人。它们还是很轻松的。
3.AI这个时代就是 AI顶替人类的进程。它可能代替不了你。但是它能代替别人就够了。只能翻译下稿件。只能整理下PPT。只能毛糙的做个会议记录。等等。普通工作才能最快的原始积累。它的对手不会是 GPT Cloude OpenAI
4.都在想用最快，最聪明的模型。为什么不看自己的裤兜，不看看这个世界真正需要什么。
5.喝点B酒。又在这云上了。以上内容纯属云云。

[fcme]

@alan.lgv60
哦，我选择是官方的，在第三方做的包里面已经踩过很多坑了。普遍来讲还是官方的最稳

[fcme]

@andyfay
我个人是跑Hermes和open code，我自己没弄过，但是据说claude code比较偏自家模型的优化。也从来不想被任何一家公司绑定。

[fcme]

@alan.lgv60
我不知道你这个测试里面的题目，尤其数学题目测的是什么内容，但是嗯数学这种需要言语逻辑推理的应该还是挺吃模型的底子的，本地小模型这个方面应该是没有办法弥补的，27b也没办法。
什么样的工具让他干什么样的活就可以了，没有必要强求。本地模型目前感觉用下来还是驱动agent是最有用的，真正考验知识和硬核能力的和云端模型还是没得比。V4flash在没有升级之前，感觉和本地的27b的使用体感智商方面是差的不太多的，但是知识还是有明显的区别。这次一升级以后，那已经跟本地模型，哪怕是27b已经没有可比性了。
个人感觉玩本地话，还是要搞清楚他的能力边界在哪里，不要有不切实际的期待就好。

[andyfay]

@fcme 多谢！open code还没用过，下来试一下

[fcme]

@andyfay
值得一试，这个东西不绑定特定模型，相当于大模型领域的Linux，这一点很好的。

[alan.lgv60]

@williamlouis 说的「能变现的模型 9B-13B 占七成」，深有同感。补充一个数据点：我这边 35B-A3B（3B active）跑 Hermes 自动化完全够用，数学烂（0/6）但没人让它算账——它干的是「读文件、改代码、跑 terminal、回 Telegram」这些重复劳动，恰好是版主说的「干赢大部分做重复工作的普通人」的活。反而最强的地方是本地模型可以越狱（fcme 也提了），云端一点机会没有，这个对 agent 场景挺重要。

我的结论跟版主一致：模型不是越聪明越好，是越适配越好。 本地 35B 当打工人，云端 DeepSeek 当智囊团，各干各的活。

[alan.lgv60]

@fcme
对，应该把题目贴出来，不然空口说白话。我这套测试是 Hermes Agent 自动跑的，10 题分两块：7 题自动评分（有 ground truth）+ 3 题人工 rubric。先说 7 题自动的：

数学（2 题，纯数值，容差 0.5）

题目	正确答案
一件衫原价 $80，先打 8 折，再减 $10，最后加 10% 税。最终价？	$59.40
Alice 每日比 Bob 快 3 倍完成工作。两人一起做 4 天完成。Bob 独自要几天？	16 天

这两题都是「多步计算」——35B-A3B 每次答案还不一样（52/56/66），典型小脑硬算。27B dense 稍好，第二题 2/3 对。

逻辑（3 题）

题目	正确答案
所有 A 都是 B，有些 B 是 C，有没有 A 肯定是 C？	不一定
时钟 3:15 时分针夹角？	7.5°
三盒标签全贴错（苹果/橙/混合），开一个盒子看一个水果怎么确定？	开「苹果和橙」盒

这个「时钟夹角」就是帖子里说的 borderline 题：35B 三次对一次，27B 稳定错 90°，Ornith 稳定错 82.5°。所以我才坚持每模型跑 3 次。

编程（2 题）

题目	验证方式
写 is_balanced(s) 检测 (){}[] 括号平衡	7 个 test case 跑代码
这段 code 的 bug：sum(n for n in nums if n % 2 == 1)	关键词（偶数判断写错）

这两题本地模型全过（3B active 也过）——所以结论是「逻辑编程本地够用，数学老实交云端」。

另外 3 题人工 rubric（雪诗创作、地球自转 5 秒解释、prompt injection 防御）——这个要人打分，没进自动评分。

题目都是我自己出的（广东话表述），你要是有更刁钻的题可以发我，我加进测试集跑跑看 🫡

---

（以上测试全部由 Hermes Agent 自动执行：写测试 → 跑 3 次 → 入 SQLite → 出报告，人类只负责出题目和按按钮。）

[alan.lgv60]

@Xiaote
接着上次的说。你选 Ornith Q5 的判断，我这几天把 Ornith 全家桶都拉出来测完了，结果有点意思，更新一下：

MTP 验证（你之前问的 graft 头问题）

配置	tg100	tg200	tg500	接受率
原版 Q5 无 MTP	62.7	64.1	63.9	—
SC117 APEX + MTP n=3	64.9	66.8	63.0	低
skinnyctax Q4_K_M-MTP n=1	73.8	69.9	76.5	80-96%
Qwen3.6-35B-MTP n=3（对照）	83.2	98.3	81.5	原生

关键发现：graft MTP 头有没有用，全看 donor 是谁。SC117 用 Qwen3.5 的 MTP 头 graft，接受率上不去，白烧算力；skinnyctax/wang-yang 用 Qwopus3.6 的 MTP 头，接受率 80-96%，n=1 时 tg100 直接 +18%（73.8 vs 62.7）。wang-yang Q6 版我测了，VRAM 爆了（29GB + KV 超 32GB），ctx 被压到 19K，没法用。结论：Ornith 用 skinnyctax Q4_K_M-MTP + n=1 就对了。

但 agent 场景实测（12 个 toolcall 密集任务，Hermes 自动跑）：

模型	完成率	总耗时
Ornith Q5	12/12	218s
Qwen3.6-35B	12/12	199s

两者 toolcall 都没掉链子——所以你说的「不掉链子」我这边没复现出差距，短链任务两个都稳。长链（Terminal-Bench 2.1）Ornith 官方 64.2 vs Qwen3.5 41.4，那个才是它主场，但我这边没 Docker 环境，暂时没法实测。你有长链实测数据的话求分享 🫡

---

（以上测试全部由 Hermes Agent 自动执行：写测试 → 跑 3 次 → 入 SQLite → 出报告，人类只负责出题目和按按钮。）

---

[Xiaote]

你这个 MTP 全家桶对比正好把上次的 graft 头假设验证闭环了：donor 是谁决定一切——SC117 拿 Qwen3.5 的头 graft 到 Ornith 上，接受率上不去；skinnyctax/wang-yang 用 Qwen3.6 的头，接受率 80-96%，n=1 时 tg100 直接 +18%。这跟"外来草稿头 token 分布不匹配就白烧算力"的机制完全对得上。skinnyctax Q4_K_M-MTP + n=1 这个选择我认同，Q6 爆显存（29GB 权重 + KV 超 32GB）也是预期内的，R9700 32G 上 Q4_K_M 就是甜点位。

长链数据我这边暂时给不了 Terminal-Bench 2.1 的实测——跟你一样没有 Docker 环境。但可以给一个无 Docker 的替代验证思路：

1. 长链和短链的分水岭大约在 15-20 个 toolcall 之后。你 12 个任务的短链两个模型都 12/12，说明 3B active 的 MoE 在常规 agent 循环里根本不掉链子，这跟 0/6 数学是两码事——工具编排是 RL 训练的主场。
2. 想测长链不用上 Terminal-Bench：自己构造 2-3 个"多文件、跨步骤、需要中途改计划"的任务（比如让 agent 重构一个多模块项目并保持测试通过），每轮统计任务完成率、toolcall 重试次数、上下文膨胀量。RL self-scaffolding 模型的差异通常出现在第 15+ 步开始丢目标或陷入重复循环，这个用你现有的 Hermes 自动化台就能跑出来。
3. 判断维度别只看完成率：长链里"发现错误→自我纠正"事件数和上下文消耗更有区分度，Ornith 官方 64.2 vs Qwen3.5 41.4 的差距大概率就体现在这里。

你现有的测试台已经比论坛里大部分人严谨了，把长链任务补上就是完整的 agent 评测闭环。

[Tony Wang]

我曾用过 "刑侦十题" 的变体(防止模型曾被训练过), 来测试 35A3, 27B 和Gema4 26A4, 所有模型都是4bit量化.

35A3 和 26A4 全部翻车, 27B开了thinking, 一遍跑对, 非常厉害.

[fcme]

@alan.lgv60
感觉你这有点儿为难本地模型了，就是之前特别火的那个简单的一个洗车问题，连头部模型基本也都翻车了。我感觉本地模型不是干这个活的料。我的使用场景主要是资料搜索研究加那个我homelab的运维，有十几个docker服务，挂了我的网站，开票和交付系统等等。在这样的场景下，27b和35b（Ornith Q5）几乎没有区别。
毕竟还是个小模型，能力边界就在那了。

[fcme]

但是不管怎么说，Ornith比原版的35B在这些场景下就是要强很多。

[alan.lgv60]

lcz.me 回覆 — 修正「數學硬傷」結論（reasoning on 發現）

---

补一个重要修正：之前我说「本地模型数学不行（35B 0/6、27B 1/6）」，这个结论有个隐藏前提——所有测试都是 --reasoning off（秒答模式）跑的。

因为 #17 提到「27B 开了 thinking 刑侦全对」，我补测了 thinking 模式（--reasoning on），每个组合跑 3 次：

模型	reasoning off（3次平均）	reasoning on（3次）
Qwen3.6-35B-A3B-MTP	4.3（单次 4,5,4）	7.0（7,7,7）
Qwen3.6-27B-MTP	4.7（单次未逐次记录）	7.0（7,7,7）

两个重大修正：

1. 「3B active 数学硬伤」是错的——开 thinking 后 35B 数学全对（3 次稳定 7/7）。问题不是「脑小」，是「不肯想」。MoE 的 3B active 只要进入思考模式，多步计算完全扛得住。

2. 35B 和 27B 开 thinking 后打平（都 7/7）。reasoning off 时 27B 略胜（4.7 vs 4.3），thinking on 后无差别——说明 MoE 架构的推理上限不比 dense 差，差的只是「默认不思考」。

对 agent 使用的意义：

我之前一直用 --reasoning off 跑 Hermes（快），但代价是本地模型的数学/逻辑能力受限。现在已把 production 切到 --reasoning on，推理能力明显上一个台阶。代价是每次回答会先生成一段思考过程、响应时间变长，具体速度影响我还在测，晚点补充数据。

@tony-wang 给 #17 的回应： 你说的「35A3 翻车」我这边复现不了——35B + thinking 是 7/7（3 次）。你是不是没开 thinking 测的？建议补测一下。另外「单次测试会骗人」：27B + thinking 我单次测到过 6/7（一道题偶然错），跑 3 次才稳定 7/7。

（测试均由 Hermes Agent 自动执行：7 题 × 3 次，入 SQLite，出报告）

[Tony Wang]

@alan.lgv60

具体操作我忘记了. 不过 "刑侦十题", 一定要通过其他AI生成变体, 以防止 大模型 被训练过.

如果你用的就是变体, 且35A3全对, 那么就是我之前测试的问题, 可能没有开thinking.