Qwen3.8-27B-MLX-8bit on M5 max

[zorg]

@YUN-WANG 同意，我现在m5 max gpu经常用不满，估计还是带宽更瓶颈一些吧。

[zorg]

[zorg]

[zorg]

[zorg]

[zorg]

开了MTP Q6可以跑到40-50tps，还是多模态无审查模型。纯文本Deepseek V4 flash也是可用的速度。

[terry]

@zorg 那还挺好，长上下文如何，我看最高才32K，意义不大。max的算力还是不错啊，其实640G的带宽和R9700 Pro一样了。

[zorg]

@terry

[rock shi]

@zorg 这个速度感觉真能用了。就是价格还是有点美丽

[terry]

@zorg 还行，prefill如何，如果不慢这速度够用，加上苹果的安静，是有市场的。

[kos or]

@zorg said:

开了MTP Q6可以跑到40-50tps，还是多模态无审查模型。

如果是 MTP Q4 不就可以上50-60 tps, 但要看輸出品質的差異是否可用？
Agent 可能差異不大 但coding或許有差異

[kos or]

沒研究過Apples , 放在供大家 參考一下價格

Apple "MacBook Pro" M5 Max 基本款 約14萬台幣 , 18C CPU/32C GPU , 36 GB Unified Memory,

Apple "MacBook Pro" M5 Max 頂規 約24萬台幣 , 18C CPU/40C GPU , 128 GB Unified Memory,