请教大家M5 Max 128G MacBook Pro上的oMLX如何优化

[zorg]

看到又有更新了，

[williamlouis]

模式不一样。钱花了就会有结果的。这个配置可以。苹果为维持销量也会通过各种方式不让你放弃这个配置。放心这个配置没问题。

[zorg]

升级了0.3.8略有提升

[王一民]

看来mac优势在于多线程？双线程加速比1.91，几乎不掉速度。

但是单线程18.5t/s，还是太慢了点

[zorg]

个人感觉上开了thinking是慢一些，如果以后再慢的话我考虑关掉，不知道大家有什么经验

[Tony Wang]

关掉会降智. 我用刑侦十题的变体(防止它被训练过), 测试27b, thinking模式下, 完美解答, 但是时间巨长. no think 模式下翻车. 其余35a3, 26a4, 还用了 ud, 开了thinking也都全部翻车.

[zorg]

@Tony-Wang 多谢，看来如果是算力瓶颈不知道用exo类似的方案是否可以提高速度。

[williamlouis]

oMLX 用了后会让你跑起来。主要问题是温度激升。（物理解决。空调开着）对固态硬盘的寿命影响非常大。大约新机使用后。寿命会缩减到2-3年。最大可能2年就报废。1T的原装盘1400元左右。其实算算也不算什么。奔跑吧。少年

[zorg]

@williamlouis 谢谢提醒，希望2年后ssd不要太超纲。

[zorg]

另外大家有没有用过majentik的Qwen3.6 35B turboquangt版本的模型？不知道缓存管理和精准度如何？目前看好像最大就是35B，希望短期内能看到27B或者122B的版本。

[williamlouis]

又不是越大越聪明。你提问测试下。够用就行的。

[zorg]

@williamlouis 嗯，还没有看到27B的稠密，moe的话小的觉得还是差更多。

[williamlouis]

@Tony-Wang 说:

oMLX

有明显提升 10倍的速度。我的设备90%是Mac。oMLX

[zorg]

看起来M芯片还不错

[terry]

@zorg 数据很有参考价值，后续会抄作业，做到视频里，给老弟署名。

[zorg]

@terry 哪里，这是Tech Notice的测试，给大家参考

[terry]

@zorg 也不错了，你多发点有意义的图，苹果讨论的人不多。

[williamlouis]

@terry 不讨论是真的不行。还在等更稳定的方案。omlx是个玩命的模式。我认为没有什么意义。

[zorg]

我也是在看，turboquant会不会有加成。

[terry]

@zorg 苹果的哥们多发点测试数据，自己也跑下。