Qwen3.8-27B-MLX-8bit on M5 max

[kos or]

Q4 4bit MTP 能達到 30 TPS 嗎？

[YUN WANG]

那是M5 Pro强，还是M6强？
个人感觉应该M5 Pro更强点

[許托比]

@YUN-WANG
規格M5 Pro更强 M6是新一代2奈米晶片 但是核心數量是初階

[zorg]

@kos-or 试了chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-MLX-4bit、pyros-vault/Qwen3.8-27B-Uncensored-oQ4e-mtp、KostkaIT/Qwen3.8-27B-Huihui-Abliterated-oQ6e-MTP-MLX都可以到30tps，可能是因为是全多模态吧。反而Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality这个混合8bit模型可以到40tps。

[zorg]

@Tony-Wang 速度很满意了，就是Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality这个模型去掉了图片、视频模块，也没有去审查，稍微遗憾了一点。

[zorg]

@williamlouis 我先订了m5 ultra，还是带宽更优先吧，看有传闻可能就重点在m7了。

[zorg]

@YUN-WANG 同意，我现在m5 max gpu经常用不满，估计还是带宽更瓶颈一些吧。

[zorg]

[zorg]

[zorg]

[zorg]

[zorg]

开了MTP Q6可以跑到40-50tps，还是多模态无审查模型。纯文本Deepseek V4 flash也是可用的速度。

[terry]

@zorg 那还挺好，长上下文如何，我看最高才32K，意义不大。max的算力还是不错啊，其实640G的带宽和R9700 Pro一样了。

[zorg]

@terry

[rock shi]

@zorg 这个速度感觉真能用了。就是价格还是有点美丽

[terry]

@zorg 还行，prefill如何，如果不慢这速度够用，加上苹果的安静，是有市场的。

[kos or]

@zorg said:

开了MTP Q6可以跑到40-50tps，还是多模态无审查模型。

如果是 MTP Q4 不就可以上50-60 tps, 但要看輸出品質的差異是否可用？
Agent 可能差異不大 但coding或許有差異

[kos or]

沒研究過Apples , 放在供大家 參考一下價格

Apple "MacBook Pro" M5 Max 基本款 約14萬台幣 , 18C CPU/32C GPU , 36 GB Unified Memory,

Apple "MacBook Pro" M5 Max 頂規 約24萬台幣 , 18C CPU/40C GPU , 128 GB Unified Memory,

[Bin Mao]

上下文窗口32K其实在真实环境下使用率不高，同样的M5MAX 128G， 为了用DSH，开了262K，关闭思考，越到后面越慢，加上dflash2，也就堪堪能用，不过那速度真的别指望了，这种情况还不能完全指望用hermes。所以现在换成qwen3.6-35B-A3B顶着，至少能看到点儿希望。

等吧，如果qwen3.8出MOE了应该会好不少。