MAC Studio Ultra 96GB 甜点小主机到货，用起来很爽
-
4bit量化，decode只有80t/s的話怪怪的
prefill也是偏慢，要找看看設定問題還是runtime問題
我的M5 ultra也剛到還沒測試，但M5 Max使用4-8bit混合量化decode有85t/s
ultra應該至少要有1.5倍 -
最近在 Mac Studio M5 Ultra（96GB 统一内存）上折腾本地大模型，主要运行 Qwen3.8-Flash-Next-REAP-288-MLX-4bit，模型约 71.87GB，搭配 oMLX 0.7.2，为 !Hermes Agent 提供本地推理服务。
目前实测表现还不错。oMLX 的生成速度在不同任务中达到过约 80 tokens/s，Prefill 速度约 1580–2450 tokens/s，累计缓存效率超过 90%。对于大型 MoE 模型来说，这个表现已经比较满意。
Stara 速度可以跑到 130每秒，但模型是 3bit了，而且不能同时跑多session，所以直接放弃。
最爽的是 长上下文和多会话的生产环境。我的目标是 至少128K 上下文，同时运行至少三个 Hermes 会话。如果每次请求都重新 Prefill，大量系统提示词、工具定义和对话历史就会被反复处理，影响响应速度。因此，Prefix Cache 和 KV Cache 的复用比单纯追求更高的 tokens/s 更重要。
内存方面，开启 oMLX 的 SSD N-gram Offload 后，界面显示的 System RAM 使用量明显下降。不过，这项功能主要用于减少 N-gram 表的常驻内存，并不等于解决了所有 KV Cache 问题。此前测试还遇到过 128K Prefill 预计峰值超过当前内存限制的提示，所以三个会话能否稳定运行，仍需要进一步确认。 随着软件的进化 内存的消耗转化到高速硬盘上。
我也尝试了 Splash 1.4.1，但目前主观上感觉开启与关闭的性能差异不明显。
总体来说，M5 Ultra 跑这个模型的单请求性能不错，96GB 内存也有一定空间。作为一个长期稳定的多对话session 支持长上下文的小主机，我认为是个非常不错的选择！
-
@tester12340 这么好的机器别只跑大模型， 可以发挥他更大作用的地方很多呢， 别辜负了那么贵的东西
@johnnybegood 是啊，感谢兄弟。 不过这个我就想跑大模型。 安静省电，主要做内部数据处理用。
-
https://lcz.me/post/21976
我目前正在用的模型(無審查)還有runtime
平均有85t/s，MTP命中高的任務可到150t/s新到的ultra要等我過幾天比較有時間才能測
-
-
-
-
-
-
我试跑了一下，主要两个问题不行。 一个是多线程的切换感觉慢了很多。 另外就是内存管理也差了很多
我现在跑的这个 Qwen3.8-Flash-Next-REAP-288-MLX-4bit 就用 40gb 内存。 我接下来换一个带mtp的 只有 50gb的 4bit flash next 试试看
@tester12340
可能96G有點吃緊 -
-
-
最近在 Mac Studio M5 Ultra（96GB 统一内存）上折腾本地大模型，主要运行 Qwen3.8-Flash-Next-REAP-288-MLX-4bit，模型约 71.87GB，搭配 oMLX 0.7.2，为 !Hermes Agent 提供本地推理服务。
目前实测表现还不错。oMLX 的生成速度在不同任务中达到过约 80 tokens/s，Prefill 速度约 1580–2450 tokens/s，累计缓存效率超过 90%。对于大型 MoE 模型来说，这个表现已经比较满意。
Stara 速度可以跑到 130每秒，但模型是 3bit了，而且不能同时跑多session，所以直接放弃。
最爽的是 长上下文和多会话的生产环境。我的目标是 至少128K 上下文，同时运行至少三个 Hermes 会话。如果每次请求都重新 Prefill，大量系统提示词、工具定义和对话历史就会被反复处理，影响响应速度。因此，Prefix Cache 和 KV Cache 的复用比单纯追求更高的 tokens/s 更重要。
内存方面，开启 oMLX 的 SSD N-gram Offload 后，界面显示的 System RAM 使用量明显下降。不过，这项功能主要用于减少 N-gram 表的常驻内存，并不等于解决了所有 KV Cache 问题。此前测试还遇到过 128K Prefill 预计峰值超过当前内存限制的提示，所以三个会话能否稳定运行，仍需要进一步确认。 随着软件的进化 内存的消耗转化到高速硬盘上。
我也尝试了 Splash 1.4.1，但目前主观上感觉开启与关闭的性能差异不明显。
总体来说，M5 Ultra 跑这个模型的单请求性能不错，96GB 内存也有一定空间。作为一个长期稳定的多对话session 支持长上下文的小主机，我认为是个非常不错的选择！
