<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[M5 Max Macbook Pro Hermes环境 硬件测试]]></title><description><![CDATA[<p dir="auto">首先感谢一直以来youtube频道和论坛对我的帮助，让我能逐渐学习AI和大模型相关的知识，终于能自己测试和实践AI agent 和大模型的应用。</p>
<p dir="auto">关于这次测试的环境和测试项目<br />
具体硬件配置：<br />
14-inch MacBook Pro (2026)<br />
Apple M5 Max<br />
CPU 18-core (6 super cores + 12 performance cores)<br />
GPU 40-core<br />
Neural Engine 16-core<br />
Unified memory 128 GB (LPDDR5X, 9600 MT/s, 153.6 GB/s bandwidth)<br />
Storage 2 TB SSD</p>
<p dir="auto">测试模型：<br />
unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit<br />
mlx-community/Qwen3.6-27B-OptiQ-4bit<br />
mlx-community/DeepSeek-V4-Flash-2bit-DQ</p>
<p dir="auto">平台使用omlx，应该是mac上最好上手且速度不错的平台了。</p>
<p dir="auto">oMLX模型配置：<br />
128k 上下文<br />
Turbo Quant KV cache：8bit<br />
Thinking On<br />
其他默认或关闭</p>
<p dir="auto">测试目标：<br />
测试三个不同模型在相同m5 max上的具体速度，智力，和可用性。<br />
这里因为经验有限，没有用专业的测试软件，完全由我个人体验评估，希望体谅。</p>
<p dir="auto">测试方式：<br />
Hermes上配置好模型，跑一段computer use的任务，记录任务完成过程和结果，记录omlx上的平均值。</p>
<p dir="auto">直接上结果：<br />
unsloth/<strong>Qwen3.6-35B-A3B-UD-MLX-4bit</strong></p>
<p dir="auto">PP：963.7tk/s<br />
TG：50.8tk/s</p>
<p dir="auto">个人评价：<br />
速度：极快（速度超过cloud模型）<br />
智力：中上<br />
agent 能力：可用<br />
综合评价：适合所有场景，无明显短板，更适合跟agent一起干活的场景。</p>
<p dir="auto">mlx-community/<strong>Qwen3.6-27B-OptiQ-4bit</strong></p>
<p dir="auto">PP：254.4tk/s<br />
TG：17.1tk/s</p>
<p dir="auto">个人评价：<br />
速度：略慢<br />
智力：中上（强于35B A3B，不明显）<br />
agent 能力：可用<br />
综合评价：适合大多场景，更适合无人的自动化agent workflow场景。</p>
<p dir="auto">mlx-community/<strong>DeepSeek-V4-Flash-2bit-DQ</strong></p>
<p dir="auto">PP：270tk/s<br />
TG：35tk/s</p>
<p dir="auto">个人评价：<br />
速度：中<br />
智力：差（应该是2bit量化降智严重）<br />
agent 能力：别想了<br />
综合评价：虽然测试上 deepseek v4 flash 2bit没有成功，但是值得关注的点是，假设 v4 flash 4bit 量化下其实速度上是跟千问27B差不多的，只是内存吃不下所有的expert同时加载。如果可以把大部分的expert留在SSD上只加载激活的expert的话，应该是可以跑出超越QWEN 3.6 27B的效果，希望后续可以继续测试。</p>
]]></description><link>https://lcz.me/topic/998/m5-max-macbook-pro-hermes环境-硬件测试</link><generator>RSS for Node</generator><lastBuildDate>Wed, 12 Aug 2026 21:50:53 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/998.rss" rel="self" type="application/rss+xml"/><pubDate>Sun, 02 Aug 2026 02:57:54 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to M5 Max Macbook Pro Hermes环境 硬件测试 on Sun, 02 Aug 2026 11:00:30 GMT]]></title><description><![CDATA[<p dir="auto">DeepSeek-V4-Flash-3bit 你应该也能装上。试试3吧</p>
]]></description><link>https://lcz.me/post/11231</link><guid isPermaLink="true">https://lcz.me/post/11231</guid><dc:creator><![CDATA[williamlouis]]></dc:creator><pubDate>Sun, 02 Aug 2026 11:00:30 GMT</pubDate></item><item><title><![CDATA[Reply to M5 Max Macbook Pro Hermes环境 硬件测试 on Sun, 02 Aug 2026 07:08:27 GMT]]></title><description><![CDATA[<p dir="auto">Gary Pan 这个对比测试做得挺扎实，同一环境三个模型一起跑，比单独晒跑分有参考价值得多。补充几点：</p>
<ol>
<li>
<p dir="auto">35B A3B 的 PP 963tk/s 是 MoE 只激活 3B 的账面数字，实际体感看 TG 50.8tk/s——这已经接近 MLX 在这台机器上的内存带宽上限（153.6GB/s），想再快只能靠更小的量化或更短上下文。</p>
</li>
<li>
<p dir="auto">terry 说的 27B dense 在 Agent 场景更稳，我实测也认同：A3B 这类 MoE 在长工具调用链里更容易跑偏，dense 模型执行多步任务时更不容易走样。你"35B 适合跟 agent 一起干活、27B 适合无人自动化"的结论方向是对的。</p>
</li>
<li>
<p dir="auto">关于 V4 Flash 2bit 降智——2bit 是激进量化，智力崩是预期内，不代表模型本身不行。你说的"expert 留 SSD 只加载激活部分"在桌面侧是现成能力：llama.cpp 有 --cpu-moe 可以把 expert 张量放 CPU 侧，vLLM 有 --expert-offload 做 MoE 卸载；MLX 目前没有内置 expert 卸载，但 macOS 统一内存本身会被系统换页到 SSD，某种意义上已经在自动"借"SSD，只是不可控。另外 4bit 全量在你的 128G 上未必装不下，值得先直接试一次完整加载，跑不动再上 offload 方案。</p>
</li>
<li>
<p dir="auto">想给"智力"维度补点客观数据，可以挑几道带工具调用的标准任务固定跑一遍；你的第一轮个人体验评估已经很够参考了。</p>
</li>
</ol>
]]></description><link>https://lcz.me/post/11199</link><guid isPermaLink="true">https://lcz.me/post/11199</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Sun, 02 Aug 2026 07:08:27 GMT</pubDate></item><item><title><![CDATA[Reply to M5 Max Macbook Pro Hermes环境 硬件测试 on Sun, 02 Aug 2026 04:49:47 GMT]]></title><description><![CDATA[<p dir="auto">27b千问在日常任务中并不比35B A3B强多少，但是进入Agent领域，就是27b能很好执行任务，35b稍微复杂场景就不能用。就是一个行，一个不行。</p>
]]></description><link>https://lcz.me/post/11192</link><guid isPermaLink="true">https://lcz.me/post/11192</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 02 Aug 2026 04:49:47 GMT</pubDate></item></channel></rss>