M5MAX 128G换了快30个本地部署模型后(Qwen3.8、3.6、gemma 4、muse glimmer、ornith等各种MLX或者Q量化,从4Bit到PF16都尝试了),唯一选择edge0-35B-A3B-Preview,兼顾了速度、质量、agent调用等,适合hermes、workbuddy以及DSH,大家可以试试!
这个模型机制有些不一样,属于内存占用弹性分配,edge0模型常驻SSD,除了有点儿费SSD,其他没啥毛病,你要说做一个鹈鹕骑单车svg,还是有差距,但是对于我日常使用(文本、量化、python编辑、lightGBM和tranformer训练等)足够了,且速度真的很快,大家可以尝试一下,工程能力推荐DSH或者codex。
此模型没有kv cache等,纯使用都已经非常不错了,单请求140t/s,dsh加载100t/s,hermes没记录。