请教大家M5 Max 128G MacBook Pro上的oMLX如何优化

[williamlouis]

@terry 不讨论是真的不行。还在等更稳定的方案。omlx是个玩命的模式。我认为没有什么意义。

[zorg]

我也是在看，turboquant会不会有加成。

[terry]

@zorg 苹果的哥们多发点测试数据，自己也跑下。

[Leon Y]

一样的MBP 126GB，LM Studio跑久了机器会重启

[williamlouis]

丐版真是不想说话。

[怪叔叔]

可以试试用mtplx来跑27B

[Tony Wang]

@怪叔叔 我测试了一下, 提升明显. 到64K的命中率仍然很高, 更长不知道了, 我的M5pro 跑不动.

[williamlouis]

@zorg 更新了个中间件。你可以去看看。应该有效果。我的硬盘应该是没你的贵。带宽不一样。

[zorg]

@williamlouis 多谢，我去试试，btw刚升级了Hermes0.14，又有新的功能，一起试试哈

[williamlouis]

@zorg 作用不一样。我的一直在干活。列队很长。干不完的干。主要就靠功耗低活着。服务器都靠这个小ai 干活。人是干不过来的。过一段在给它雇一个 伙伴吧。还没想好是继续Mac 还是换 塔式主机了。这段学习考量。老特的配置 应该一个能顶Mac 4个还得多了。不考虑功耗和噪音。塔式是ztmd 合适啊。想研究搞一个 托管到 本地机房。有空研究下。本地 联通和移动应该都有对外业务。