Qwen3.8-27B-MLX-8bit on M5 max

[zorg]

@YUN-WANG 同意，我现在m5 max gpu经常用不满，估计还是带宽更瓶颈一些吧。

[zorg]

[zorg]

[zorg]

[zorg]

[zorg]

开了MTP Q6可以跑到40-50tps，还是多模态无审查模型。纯文本Deepseek V4 flash也是可用的速度。

[terry]

@zorg 那还挺好，长上下文如何，我看最高才32K，意义不大。max的算力还是不错啊，其实640G的带宽和R9700 Pro一样了。

[zorg]

@terry

[rock shi]

@zorg 这个速度感觉真能用了。就是价格还是有点美丽

[terry]

@zorg 还行，prefill如何，如果不慢这速度够用，加上苹果的安静，是有市场的。

[kos or]

@zorg said:

开了MTP Q6可以跑到40-50tps，还是多模态无审查模型。

如果是 MTP Q4 不就可以上50-60 tps, 但要看輸出品質的差異是否可用？
Agent 可能差異不大 但coding或許有差異

[kos or]

沒研究過Apples , 放在供大家 參考一下價格

Apple "MacBook Pro" M5 Max 基本款 約14萬台幣 , 18C CPU/32C GPU , 36 GB Unified Memory,

Apple "MacBook Pro" M5 Max 頂規 約24萬台幣 , 18C CPU/40C GPU , 128 GB Unified Memory,

[Bin Mao]

上下文窗口32K其实在真实环境下使用率不高，同样的M5MAX 128G， 为了用DSH，开了262K，关闭思考，越到后面越慢，加上dflash2，也就堪堪能用，不过那速度真的别指望了，这种情况还不能完全指望用hermes。所以现在换成qwen3.6-35B-A3B顶着，至少能看到点儿希望。

等吧，如果qwen3.8出MOE了应该会好不少。