M5pro 64G LLM性能参考.

[Vittoria Veloso]

@Tony-Wang 你用omlx真的，专门针对mac优化了。lmstudio还有ollama确实不大行。

[Vittoria Veloso]

@82445418 根本不可能

[Tony Wang]

今天oMLX发布了 0.3.9rc1, 支持了 native MTP, 我又测了一下加上了MTP机制的 27b oQ4, decode 明显提升, PP 基本不变.

[terry]

@Tony-Wang 那还不是没啥卵用

[Tony Wang]

是啊, 所以结论不变, M5pro 跑27b 不行, Max 没准行.

@terry 号召有 Μ5max的测试一下, 有可能给 LLM 带来希望.

[terry]

@Tony-Wang 其实油管频道有人说，没啥卵用，慢。

[Tony Wang]

看来我必须得搞 5090了, 无论如何得想办法降低噪音

等回国了就动手.

[terry]

@Tony-Wang 可以，5090， pro 5000， 6000都行。

[Tony Wang]

@terry 说:

pro 5000， 6000都行。

我对噪音敏感, 已经排除掉了 5000, 6000. 如果不是噪音敏感, 我就入手你推荐的9700两张了. 我主要要LLM的算力, 视频也就是玩玩, 不用来生产.

[Tony Wang]

@terry

我靠, 我觉得还是可以抢救一下的, 刚才又在oMLX 加上了SpecPrefill , 加了一个qwen3.5 2B Q4 用来预测, PP狂涨.

这个对我做LLM wiki 还是很有价值的.

[terry]

@Tony-Wang 那抢救一下，发点数据来，这就很有意义了。

[Tony Wang]

@terry

你看图片, 27b oQ4 MTP, pp已经到了 1131.8, tg 还能在 17.3.

不过我问了AI, 这个 SpecPrefill 技术不适合多轮对话, 会乱掉. 只适合 长文本 的一次性分析, 和几轮对话.

所以, 对于AI agent , 还是没啥用. 对于我LLM wiki, 倒是有点儿用, 不过那个, 我如果单独分析, 也就等一会儿就完了, 不着急了. 感觉这个技术有点儿鸡肋.

[terry]

不改变mac跑AI废物的局面，这是硬件残疾，很难后天修复。

[janebo]

@terry 我也是无意中刷到才知道amd也可以玩模型，我之前一直在研究Mac，也在看mac studio 比较n卡实在太贵了，无意中发现现在a卡也能搞了，5k左右，我准备把手上的3060 12g出掉来升级一下，折腾一下a卡