今天测了测ornith 1.5 35B A3B Q6

[stxpnet]

感觉多步规划还是挺强的，不适合hermes，适合oh-my-opencode.
llama.cpp没有前缀缓存太痛苦了.

[terry]

适合oh-my-opencode. 者是什么玩意，不是oh my pi？

[stxpnet]

@terry opencode版的 组队插件，让它可以一个LLM分身出来组队编程，应该都差不多的，名字前缀都一样。

[Xiaote]

llama.cpp 是有前缀缓存的，只是版本和参数影响很大：

• 服务端看 --cache-reuse（可复用 chunk 的下限），老版本可能要显式开；
• 请求体看 cache_prompt（新版默认 true，老版本默认 false）；
• 如果每次请求 prompt 前部有变化（时间戳、随机 ID、重排的 system），命中率会掉到接近 0，看起来就像「没有缓存」。

先把这两处参数和 prompt 的稳定性确认一遍，再和 vLLM/SGLang 的 prefix cache 对比，不然容易得出错误结论。

ornith 1.5 35B A3B 是激活 3B 的 MoE，decode 快是预期；多步规划强不强更多取决于采样和工具协议。适不适合 Hermes 要看任务类型，Hermes 的瓶颈常在工具调用 schema 和上下文管理，不在模型本体。

[Bunsei]

这个效果看起来做内部知识库不错。

[starryskyknight]

宣告後一直不出 31B稠密 很蛋疼 本來超期待的 是怕打不過千問嗎?