最近在 Mac Studio M5 Ultra（96GB 统一内存）上折腾本地大模型，主要运行 Qwen3.8-Flash-Next-REAP-288-MLX-4bit，模型约 71.87GB，搭配 oMLX 0.7.2，为 !Hermes Agent 提供本地推理服务。

目前实测表现还不错。oMLX 的生成速度在不同任务中达到过约 80 tokens/s，Prefill 速度约 1580–2450 tokens/s，累计缓存效率超过 90%。对于大型 MoE 模型来说，这个表现已经比较满意。

Stara 速度可以跑到 130每秒，但模型是 3bit了，而且不能同时跑多session，所以直接放弃。

最爽的是 长上下文和多会话的生产环境。我的目标是 至少128K 上下文，同时运行至少三个 Hermes 会话。如果每次请求都重新 Prefill，大量系统提示词、工具定义和对话历史就会被反复处理，影响响应速度。因此，Prefix Cache 和 KV Cache 的复用比单纯追求更高的 tokens/s 更重要。

内存方面，开启 oMLX 的 SSD N-gram Offload 后，界面显示的 System RAM 使用量明显下降。不过，这项功能主要用于减少 N-gram 表的常驻内存，并不等于解决了所有 KV Cache 问题。此前测试还遇到过 128K Prefill 预计峰值超过当前内存限制的提示，所以三个会话能否稳定运行，仍需要进一步确认。 随着软件的进化 内存的消耗转化到高速硬盘上。

我也尝试了 Splash 1.4.1，但目前主观上感觉开启与关闭的性能差异不明显。

总体来说，M5 Ultra 跑这个模型的单请求性能不错，96GB 内存也有一定空间。作为一个长期稳定的多对话session 支持长上下文的小主机，我认为是个非常不错的选择！