请教大家M5 Max 128G MacBook Pro上的oMLX如何优化
-
又不是越大越聪明。你提问测试下。够用就行的。
-
又不是越大越聪明。你提问测试下。够用就行的。
@williamlouis 嗯，还没有看到27B的稠密，moe的话小的觉得还是差更多。
-
oMLX
有明显提升 10倍的速度。我的设备90%是Mac。oMLX
-
T terry 固定了该主题
-
@terry 不讨论是真的不行。还在等更稳定的方案。omlx是个玩命的模式。我认为没有什么意义。
-
丐版真是不想说话。
-
系统 取消固定了该主题
-
大家好，我从今年元旦开始关注open claw的介绍和使用心得，碰巧过年时M5 max的MBP发布，就24期分期购入了128G的版本。本着先跑通再优化的思路先尝试了ollama，跑Qwen3.5 70B，学习openclaw。后来听大佬的话换到Qwen3.6 27B 8bit mlx。
之后夜以继日的沉浸在学习的快感里，可能是看多了本地ai内容的视频，被算法推了抡锤者大佬的视频，受益匪浅，很认同楼主的世界观，AI本质还是我们的工具，了解他，学习他，思考并找到他能给我们赋能的功能，相比原来chatgpt和gemini的纯文字交流来说，体会到了哥伦布的爽感。
目前我手里的硬件：AMDPC主机+32G内存+3090显卡，之前有过学习stable diffusion的经验，过年期间开始琢磨ltx2.3的其他玩家的玩法，只是偶尔生成参数控制不好内存溢出崩溃，敢在显卡涨价前在国外下单5090 32G，等下次回国带回来学习，希望如楼主所说能够更轻松的做一些音视频尝试。
M5 max上运行openclaw一段时间发现这家伙确实阿尔兹海默现象逐渐出现，现在更多的是使用Hermes，不同的架构还是缓解很多。现状搭配是M5 Max专职运行oMLX，提供api给家里每个人的openclaw或者hermes使用，这两个月在公司运营，法务梳理，业务拓展上榜了我很多。业务生成音视频我也是告诉Hermes，让他去调用PC的comfy ui api完成，真是挺好玩的。
由于家里所有成员开始更多的使用Hermes，现在M5 max也经常排着7/8个对话运行，响应速度开始在高峰时有感知的减慢，所以想跪求其他前辈的oMLX调优心法，让他能更流畅的运行，随附我现在的模型设置，先谢过各位，好人一生平安。
@zorg 更新了个中间件。你可以去看看。应该有效果。我的硬盘应该是没你的贵。带宽不一样。
-
@zorg 更新了个中间件。你可以去看看。应该有效果。我的硬盘应该是没你的贵。带宽不一样。
-
@williamlouis 多谢，我去试试，btw刚升级了Hermes0.14，又有新的功能，一起试试哈
@zorg 作用不一样。我的一直在干活。列队很长。干不完的干。主要就靠功耗低活着。服务器都靠这个小ai 干活。人是干不过来的。过一段在给它雇一个 伙伴吧。还没想好是继续Mac 还是换 塔式主机了。这段学习考量。老特的配置 应该一个能顶Mac 4个还得多了。不考虑功耗和噪音。塔式是ztmd 合适啊。想研究搞一个 托管到 本地机房。有空研究下。本地 联通和移动应该都有对外业务。
