抡锤者

@terry
我其实就是笔记本到处跑，家里 Deepseek V4 Flash 0731随时待命
Agent 主要的任务几乎都跑在Deepseek 上，一些快速对话和任务就笔记本自己解决
然后我还没切换到 Vision Exp，所以视觉多模态都是本地用 Qwen3.8 27B作为前端先处理再喂Deepseek
128G 的 RAM，可以跑 Qwen3.6 35B A3B和 Qwen3.8 27B同时加载并发并且系统和其他工作软件也不影响
Qwen3.8 Flash Next我下了 oQ4e量化，在等 oMLX 继续完善
我的主要需求是复杂的办公，并不是 coding，未来复杂任务的工作流可能是本地 Qwen3.8 Flash Next + Deepseek V4 Flash Vision Exp + 线上的 Qwen3.8 Max这样的聚合

不是炫富，是这个时代，真的要玩 AI 真的要用好真的要有好的产出，投入是必须的

其实说穿了 M5U的 decode 速度能约等于 M5 Max的接近翻倍……就这样了，没有其他奇迹
1.2T 的速度说快也快说慢也慢
如果是家里唯一的 AI 硬件，顺便办公什么的，是不错的选择
如果你已经有其他 AI 硬件或者基础，想增强自己的 AI 部署能力，可能现阶段 CUDA 还是优选方向

家里放了 DGX Spark TP2，随身带 14 寸 Macbook Pro M5 Max 128G
本来我也一直在等 M5 Ultra Mac Studio但是看到出来的定价，还是 Spark 阵列的性价比明显更高了

但凡要压榨本地运算性能的用户，LM就是一个比较尴尬的存在
当然如果本地硬件性能冗余很多……也别折腾了，开箱即用有什么不好的

完全取决于你的数据复杂程度和数据量
使用云端 API 算力记得看清楚数据隐私授权，我买企业版的 Token Plan就是因为个人版会被用于训练

你都用上 oMLX 了为什么不用DeepSeek-V4-Flash-0731-oQ2e，oMLX 最有特色的就是 oQ 动态量化了

我下载了全精度权重用 oMLX 转换成了 oQ4e 量化，保留 MTP
https://huggingface.co/fevaoctwh/Qwen3.8-27B-oQ4e-mtp
在 M5 Max平台上可以说是精度和速度的一个平衡吧，更高的量化，M5 Max 就受限于内存带宽，decode 速度完全上不去了

Measured with the built-in oMLX benchmark (/admin dashboard), single-request mode:

• Engine: Auto
• Context: Code (Python)
• Test pattern: pp<T> / tg128 = prefill T tokens, then generate 128 tokens
• Hardware: Apple Silicon (M5 Max, 128 GB unified memory)

量化后的能力肯定是打折的，作为 Agent 本地对话模型和简单任务是完全够用了，我现在使用的是Qwen3.6-35B-A3B-oQ6e
M 芯片目前的架构还是适合激活参数小的 MoE， 甜点尺寸应该是 100B 左右总参数量但是激活小于 10B 参数的模型

LiveCodeBench v6 还在跑 27/300…… 结果要明天了