M5pro 64G LLM性能参考.

[eddie-hk]

現在我也糾結緊好唔好買呢一臺M5pro 64G，因為大概要24000港幣左右, 還可以接受。
如果要 128GB RAM，價錢要去到四萬多，好像等新的 Mac Studio 加 MacBook Air 嘅方案性價比高些。

想請教一下，如果是 Mac 系統，是不是要 128GB RAM 起步，最好到 256GB？CPU 反而不是最考量的因素, 謝謝

[terry]

其实速度还可以啊，27b 64k上下文19.9/ts，这够用了啊买，伤硬盘之类的可以通过外挂来解决。这机器现在不便宜吧，我的mini当时4000买的，现在都快翻倍了。

[Vittoria Veloso]

@Tony-Wang 可以的，我的m5 32g，跑qwen 3.6 27B，开到90k上下文都可以，不过我使用 omlx，没用LM Studio。也还可以十几token，哥们儿你这配置可以开qwen 3.6 27B 8bit了，27GB，上下文开到96k左右了。

[Tony Wang]

@terry 如果只是聊天, 基本够了, 如果是连接 Hermes, 那prefill 只有 300多, 时间太长, 等待回应会比较痛苦.

价格是不便宜, 大概要5000多加币, 不过是没办法的事. 这是我的主力机, 本来 air 就够用. 但是因为我近期要回国, 折腾台式机的话, 很难带回去. 所以就卖肾买了这个配置, 还不敢买max, 一是担心散热, 二是担心成为鸡肋.

不过现在看来, m5 max 是有可能跑 27b 稠密的, 毕竟它的高配GPU和带宽都是我这个的两倍.

[Tony Wang]

@Vittoria-Veloso 用肯定是能勉强用, 但是prefill太慢, 以及10几个token的decode, 感受很差.

[Tony Wang]

@eddie-hk

Studio 肯定体验更好, air适合做日常主力机, 轻便.

GPU还是很重要的, prefill 阶段主要拼算力, 我这个跑27b, prefill 300多, 属于很慢的了, 如果你开thinking, 有效的首字出来经常要1分钟以上, 属于体验很差的那种.

内存我个人认为反而不重要, 64G就够用了(专用, 如果你还用它上网办公剪辑视频, 那就不够了). 70b左右的moe也不会比30b左右的稠密更聪明. 除非你需要它知识面大, 比如写作之类的.

如果是Mac, 我还是赞同 @terry 的说法, 只有Max及以上才能打. 而且也只是在LLM 和 图片能打. 视频就别想了, 玩玩儿可以, 生产肯定不行.

[terry]

@Tony-Wang 没事你的测试数据让我以后喷Apple的时候更有底气了，说实话我希望苹果站起来，我特别喜欢studio那个形态，就是跑comfyui太废柴了，不然我想买一个。

[Tony Wang]

我也是啊, 我喜欢苹果的安静, 优雅和全生态的无缝连接. 但是和算力不能得兼.

[82445418]

彻底打消了我用 mac 跑本地生视频的念头

[williamlouis]

Mac 适合 用 在线算力。做一个 API集合路由 狂剽 免费API。生产力肯定不行。办公室 缩减开资是可以实现的。chat生态推荐。

[janebo]

彻底打消了我对mac跑大模型的念想，我还在看省了九千，还是去买7900xtx,至少五千左右的价格能跑千文还是很强的性价比！

[terry]

@janebo 论坛那么多大神在用xtx，就是Qwen3.6 27b就值回票价了，更何况也能comfyui，抄作业就是了。

[Vittoria Veloso]

@Tony-Wang 你用omlx真的，专门针对mac优化了。lmstudio还有ollama确实不大行。

[Vittoria Veloso]

@82445418 根本不可能

[Tony Wang]

今天oMLX发布了 0.3.9rc1, 支持了 native MTP, 我又测了一下加上了MTP机制的 27b oQ4, decode 明显提升, PP 基本不变.

[terry]

@Tony-Wang 那还不是没啥卵用

[Tony Wang]

是啊, 所以结论不变, M5pro 跑27b 不行, Max 没准行.

@terry 号召有 Μ5max的测试一下, 有可能给 LLM 带来希望.

[terry]

@Tony-Wang 其实油管频道有人说，没啥卵用，慢。

[Tony Wang]

看来我必须得搞 5090了, 无论如何得想办法降低噪音

等回国了就动手.

[terry]

@Tony-Wang 可以，5090， pro 5000， 6000都行。