Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試

[johnnybegood]

@fanweng-code 这套配置下来得4万块人民币吧， 感觉还是太贵了， 性价比这块还是要皱皱眉头。

[张光璞]

@Tony-Wang 说:

128K decode还能在 50+, prefill 接近 2000, 很不错了.
完全能干活了.

那utlra 理论性能会更好一些。 就看长下文以及多并发了

[Thanaots]

我的m4 max 128GB正在找这个测试。有结果我会传上来。

[Thanaots]

M4 Max 128GB / MLX / Qwen3-30B-A3B-4bit Benchmark

测试环境

• 芯片：Apple M4 Max
• 统一内存：128GB
• Runtime：MLX / mlx_lm.server
• 模型：mlx-community/Qwen3-30B-A3B-4bit
• API：OpenAI-compatible API
• 测试 Context：8K / 32K / 64K / 128K
• 最大输出：512 tokens
• 输出统计：Qwen3 reasoning + content
• Prefill 计算方式：Prompt Tokens / TTFT

注意：这里的 Prefill 是根据端到端 TTFT 计算的近似值，包含 API / Server 等额外开销，并非 MLX runtime 内部的纯 prompt-processing throughput。

Benchmark Results

Context	Prompt Tokens	Server Prompt Tokens	TTFT	Approx. Prefill	Output Tokens	Decode Time	Decode
8K	8,000	8,015	6.560 s	1,219.5 tok/s	328	4.316 s	75.8 tok/s
32K	32,000	32,016	46.180 s	692.9 tok/s	332	7.937 s	41.7 tok/s
64K	64,000	64,016	137.716 s	464.7 tok/s	429	21.786 s	19.6 tok/s
128K	128,000	128,016	575.329 s	222.5 tok/s	512	41.661 s	12.3 tok/s

Raw Results

8K
Prompt tokens  : 8,000
Server prompt  : 8,015
TTFT           : 6.560 s
Approx prefill : 1,219.5 tok/s
Output tokens  : 328
Decode time    : 4.316 s
Decode         : 75.8 tok/s

32K
Prompt tokens  : 32,000
Server prompt  : 32,016
TTFT           : 46.180 s
Approx prefill : 692.9 tok/s
Output tokens  : 332
Decode time    : 7.937 s
Decode         : 41.7 tok/s

64K
Prompt tokens  : 64,000
Server prompt  : 64,016
TTFT           : 137.716 s
Approx prefill : 464.7 tok/s
Output tokens  : 429
Decode time    : 21.786 s
Decode         : 19.6 tok/s

128K
Prompt tokens  : 128,000
Server prompt  : 128,016
TTFT           : 575.329 s
Approx prefill : 222.5 tok/s
Output tokens  : 512
Decode time    : 41.661 s
Decode         : 12.3 tok/s

[Tony Wang]

M4 max 不可能这么拉吧...

[Thanaots]

@Tony-Wang 说:

M4 max 不可能这么拉吧...

感觉语音模型没弄对，今晚再试试看

[Nina Chowdhry]

性价比不高呀，还是nv卡合适

[fanweng-code]

@johnnybegood
是有點貴啦，但想想硬體漲價的速度，現在可能還是最低點

[fanweng-code]

@Nina-Chowdhry
看你要怎麼做取捨了，我有另外一台PC用來處理建模跟渲染，全速運轉時兩台的音量有天壤之別，MAC studio幾乎沒有聲音使用起來的體驗真的是非常好。

[fanweng-code]

更新一下前面提到的 ARC4NUM/Qwen3.8-Flash-Next-Uncensored-MLX-Serve-4bit。

目前已經測完，結果不錯，現在它已經取代 MTPLX Optimized-Speed，成為我日常 Hermes / coding agent 的主力模型。

環境：

• Mac Studio M5 Max 128GB
• mlx-serve 26.9.5
• context：262144
• MTP：depth 6
• uncensored mixed 4/8-bit

簡單整理實測結果：

項目	結果
Serial decode	65.24 tok/s
MTP decode	154.23 tok/s
128K retrieval	PASS
near-128K tool call	PASS
251K retrieval	PASS
128K prefill	~2165 tok/s
251K prefill	~2128 tok/s

154 tok/s 是短 decode isolation、MTP acceptance 很高時的結果，但大多時候MTP都能維持在3左右；目前確認這版的 MTP 確實有很明顯的實際加速。

我自己比較在意的是長 context。

251K prompt 下 retrieval 仍然正確，prefill 還維持在約 2.1K tok/s，而且測試期間沒有看到 swap 增長或明顯 memory pressure。

另外這顆相較之前測的 uncensored oQ5e，最大的優勢其實是記憶體餘裕比較大。

runtime 對 weights 的估計約 70GB 級，而 Q5 先前光 model memory 就接近 95GB，甚至因為 PLE 無法完整 resident 被迫 SSD offload。

對 128GB Mac 來說，這差異滿重要。

因為我不只想跑一顆主模型，之後還會同時放一些 JEV-like / router / verifier / ASR 之類的輔助模型。主模型少吃二、三十 GB unified memory，整套 Agent system 就好配置很多。

Apple Silicon 這邊還有另一個優勢：小型輔助模型如果有合適的 Core ML / ANE runtime，可以把部分計算放到 ANE，不必全部跟主 LLM 搶 GPU compute。當然權重還是會占 unified memory，但至少 compute 資源可以分流。

目前我的配置方向大概就是：

ARC4NUM mixed 4/8 + mlx-serve + MTP
→ 主 LLM / Hermes

JEV-like / ASR / classifier
→ 小模型，能走 ANE 的盡量走 ANE

這也是我最後決定留下 mixed 4/8，而不是追更高 bit quant 的主要原因：對我來說，整台 Mac 能同時跑多少個有用的元件，比單顆模型多一點 benchmark 分數更重要。

目前實際 coding / agent 使用也沒有遇到明顯問題，所以先把它當主力繼續用。

如果後續長任務、tool calling 或 200K+ context 出現新的問題，我再回來更新。

[terry]

@Tony-Wang M4比M5差很远，断崖式差距