Qwen3.8-27B-MLX-8bit on M5 max

[zorg]

[Tony Wang]

@zorg

你这个帖子想说啥? 是优化了Q8? 优化了什么? 还是改了其他量化?

[zorg]

Q8，开了MTP，速度可以接受了

[Tony Wang]

@zorg
Q8 MTP能到这个速度，属于完全可用了

[williamlouis]

马上出 M6了。期待下吧。

[kos or]

Q4 4bit MTP 能達到 30 TPS 嗎？

[YUN WANG]

那是M5 Pro强，还是M6强？
个人感觉应该M5 Pro更强点

[許托比]

@YUN-WANG
規格M5 Pro更强 M6是新一代2奈米晶片 但是核心數量是初階

[zorg]

@kos-or 试了chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-MLX-4bit、pyros-vault/Qwen3.8-27B-Uncensored-oQ4e-mtp、KostkaIT/Qwen3.8-27B-Huihui-Abliterated-oQ6e-MTP-MLX都可以到30tps，可能是因为是全多模态吧。反而Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality这个混合8bit模型可以到40tps。

[zorg]

@Tony-Wang 速度很满意了，就是Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality这个模型去掉了图片、视频模块，也没有去审查，稍微遗憾了一点。

[zorg]

@williamlouis 我先订了m5 ultra，还是带宽更优先吧，看有传闻可能就重点在m7了。

[zorg]

@YUN-WANG 同意，我现在m5 max gpu经常用不满，估计还是带宽更瓶颈一些吧。

[zorg]

[zorg]

[zorg]

[zorg]

[zorg]

开了MTP Q6可以跑到40-50tps，还是多模态无审查模型。纯文本Deepseek V4 flash也是可用的速度。

[terry]

@zorg 那还挺好，长上下文如何，我看最高才32K，意义不大。max的算力还是不错啊，其实640G的带宽和R9700 Pro一样了。

[zorg]

@terry

[rock shi]

@zorg 这个速度感觉真能用了。就是价格还是有点美丽