抡锤者

是的，感觉加上mtp，优化一下调用，速度应该能至少翻倍，就赢麻了，智力是完全够的

这是Hermes给的 llama.cpp 的设置表，供参考。
llama.cpp 服务端 reasoning 相关 flag 全表（从 master 源码 common/arg.cpp 实读，非记忆）：

Flag: -rea / --reasoning
参数值: on / off / auto
默认: auto（从 chat template 自动检测）
环境变量: LLAMA_ARG_REASONING
作用: 总开关：thinking 开/关。on/off 会写入模板 kwarg enable_thinking
能否被请求级覆盖: body 里 chat_template_kwargs.enable_thinking 或 reasoning_effort:"none" 可覆盖（实测确认）
────────────────────────────────────────
Flag: --reasoning-effort
参数值: default / minimal / low / medium / high / xhigh / max…
默认: default（保持模板默认）
环境变量: LLAMA_ARG_REASONING_EFFORT
作用: 把档位塞进 chat template kwarg reasoning_effort——是否生效取决于模型模板认不认（Qwen3 系只认 on/off 布尔，不认档位）
能否被请求级覆盖: body 里 chat_template_kwargs.reasoning_effort
────────────────────────────────────────
Flag: --reasoning-budget
参数值: N：-1 不限 / 0 立即结束 / >0 思考 token 上限
默认: -1
环境变量: LLAMA_ARG_THINK_BUDGET
作用: 采样层的思考 token 预算——服务端硬截断，与模板无关，对不认 effort 的模型这是唯一有效的"限流"手段
能否被请求级覆盖: ️ body 有对应字段 thinking_budget_tokens（Anthropic 风格 thinking.budget_tokens 也会被翻译成它）
────────────────────────────────────────
Flag: --reasoning-budget-message
参数值: 任意文本
默认: 无
环境变量: LLAMA_ARG_THINK_BUDGET_MESSAGE
作用: 预算耗尽时，在 end-of-thinking 标签前注入的提示语（引导模型收尾）
能否被请求级覆盖: 仅启动级
────────────────────────────────────────
Flag: --reasoning-preserve / --no-reasoning-preserve
参数值: bool
默认: 模板默认
环境变量: —
作用: 是否把思考痕迹保留在完整历史里（而非只有最后一条 assistant 消息）。需要模板有 supports_preserve_reasoning 能力
能否被请求级覆盖: body kwarg preserve_reasoning
────────────────────────────────────────
Flag: --reasoning-format
参数值: none / deepseek / deepseek-legacy / auto
默认: auto
环境变量: LLAMA_ARG_THINK
作用: 思考内容怎么交付：none=不解析留在 content；deepseek=放进 message.reasoning_content；legacy=两处都有
能否被请求级覆盖: body 里 reasoning_format
────────────────────────────────────────
Flag: --chat-template-kwargs
参数值: JSON 对象
默认: {}
环境变量: LLAMA_ARG_CHAT_TEMPLATE_KWARGS
作用: 任意模板 kwargs（你现在进程里的 {"enable_thinking": true, "preserve_thinking": true} 就是它设的）。️ 新版已弃用 enable_thinking
走这里，会打警告让你改用 --reasoning on/off
能否被请求级覆盖: body 里 chat_template_kwargs 与之合并，请求值优先
────────────────────────────────────────
Flag: --no-reasoning-in-content（force_pure_content 相关）
参数值: bool
默认: disabled
环境变量: —
作用: 禁止工具调用/思考混进 content 块
能否被请求级覆盖: （随解析器配置，一般不用动）

直接说重点，好，但是需要优化。

因为明天要出差，就简短一点，给大家一点启发。

ngram 50b 左右的部分可以放到ssd里直接读，不需要进内存，实际上就是一个120b a6b的模型，4 bit也就50多gb，还只要a6b，潜力巨大。

M5 MAX 实测结果：
128k上下文 没有额外配置

最快30 tokens，最慢降速到十几tokens。均值26.2
这部分感觉优化空间很大，理论上ngram应该属于秒读不会影响模型速度，30tokens对于a6b有点不正常了。

另外补充：
这个模型的reasoning好像设置跟其他模型不太一样，想太多，设置一下应该会好很多。

首先感谢一直以来youtube频道和论坛对我的帮助，让我能逐渐学习AI和大模型相关的知识，终于能自己测试和实践AI agent 和大模型的应用。

关于这次测试的环境和测试项目
具体硬件配置：
14-inch MacBook Pro (2026)
Apple M5 Max
CPU 18-core (6 super cores + 12 performance cores)
GPU 40-core
Neural Engine 16-core
Unified memory 128 GB (LPDDR5X, 9600 MT/s, 153.6 GB/s bandwidth)
Storage 2 TB SSD

测试模型：
unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit
mlx-community/Qwen3.6-27B-OptiQ-4bit
mlx-community/DeepSeek-V4-Flash-2bit-DQ

平台使用omlx，应该是mac上最好上手且速度不错的平台了。

oMLX模型配置：
128k 上下文
Turbo Quant KV cache：8bit
Thinking On
其他默认或关闭

测试目标：
测试三个不同模型在相同m5 max上的具体速度，智力，和可用性。
这里因为经验有限，没有用专业的测试软件，完全由我个人体验评估，希望体谅。

测试方式：
Hermes上配置好模型，跑一段computer use的任务，记录任务完成过程和结果，记录omlx上的平均值。

直接上结果：
unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit

PP：963.7tk/s
TG：50.8tk/s

个人评价：
速度：极快（速度超过cloud模型）
智力：中上
agent 能力：可用
综合评价：适合所有场景，无明显短板，更适合跟agent一起干活的场景。

mlx-community/Qwen3.6-27B-OptiQ-4bit

PP：254.4tk/s
TG：17.1tk/s

个人评价：
速度：略慢
智力：中上（强于35B A3B，不明显）
agent 能力：可用
综合评价：适合大多场景，更适合无人的自动化agent workflow场景。

mlx-community/DeepSeek-V4-Flash-2bit-DQ

PP：270tk/s
TG：35tk/s

个人评价：
速度：中
智力：差（应该是2bit量化降智严重）
agent 能力：别想了
综合评价：虽然测试上 deepseek v4 flash 2bit没有成功，但是值得关注的点是，假设 v4 flash 4bit 量化下其实速度上是跟千问27B差不多的，只是内存吃不下所有的expert同时加载。如果可以把大部分的expert留在SSD上只加载激活的expert的话，应该是可以跑出超越QWEN 3.6 27B的效果，希望后续可以继续测试。

下单了一个多月的满配 M5 Macbook Pro Max 14英寸终于到货了。
准备这两天测试一下本地LLM性能，希望论坛大佬们给一些建议。
准备测一下omlx 和 LMstudio 两个平台下跑千问3.6 27B 和 35B A3B 的对比，同时测试一下跑deepseek v4 flash的可行性。具体怎么测和用那些软件可能需要大家帮助。

具体硬件配置如下（配置是AI整理的，错了麻烦提醒我）：
14-inch MacBook Pro (2026)
Apple M5 Max
CPU 18-core (6 super cores + 12 performance cores)
GPU 40-core
Neural Engine 16-core
Unified memory 128 GB (LPDDR5X, 9600 MT/s, 153.6 GB/s bandwidth)
Storage 2 TB SSD

希望各位在开始之前给一些有用的建议，本人是有一点IT背景的商科专业，不是专业程序员，目前希望做一套能完全本地运行的Agent系统给更多的人使用，希望大家支持，谢谢！