Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試
-
-
-
M4 Max 128GB / MLX / Qwen3-30B-A3B-4bit Benchmark
测试环境
- 芯片：Apple M4 Max
- 统一内存：128GB
- Runtime：MLX /
mlx_lm.server - 模型：
mlx-community/Qwen3-30B-A3B-4bit - API：OpenAI-compatible API
- 测试 Context：8K / 32K / 64K / 128K
- 最大输出：512 tokens
- 输出统计：Qwen3
reasoning+content - Prefill 计算方式：
Prompt Tokens / TTFT
注意：这里的 Prefill 是根据端到端 TTFT 计算的近似值，包含 API / Server 等额外开销，并非 MLX runtime 内部的纯 prompt-processing throughput。
Benchmark Results
Context Prompt Tokens Server Prompt Tokens TTFT Approx. Prefill Output Tokens Decode Time Decode 8K 8,000 8,015 6.560 s 1,219.5 tok/s 328 4.316 s 75.8 tok/s 32K 32,000 32,016 46.180 s 692.9 tok/s 332 7.937 s 41.7 tok/s 64K 64,000 64,016 137.716 s 464.7 tok/s 429 21.786 s 19.6 tok/s 128K 128,000 128,016 575.329 s 222.5 tok/s 512 41.661 s 12.3 tok/s Raw Results
8K Prompt tokens : 8,000 Server prompt : 8,015 TTFT : 6.560 s Approx prefill : 1,219.5 tok/s Output tokens : 328 Decode time : 4.316 s Decode : 75.8 tok/s 32K Prompt tokens : 32,000 Server prompt : 32,016 TTFT : 46.180 s Approx prefill : 692.9 tok/s Output tokens : 332 Decode time : 7.937 s Decode : 41.7 tok/s 64K Prompt tokens : 64,000 Server prompt : 64,016 TTFT : 137.716 s Approx prefill : 464.7 tok/s Output tokens : 429 Decode time : 21.786 s Decode : 19.6 tok/s 128K Prompt tokens : 128,000 Server prompt : 128,016 TTFT : 575.329 s Approx prefill : 222.5 tok/s Output tokens : 512 Decode time : 41.661 s Decode : 12.3 tok/s -
-
-
-
@fanweng-code 这套配置下来得4万块人民币吧， 感觉还是太贵了， 性价比这块还是要皱皱眉头。
@johnnybegood
是有點貴啦，但想想硬體漲價的速度，現在可能還是最低點 -
性价比不高呀，还是nv卡合适
@Nina-Chowdhry
看你要怎麼做取捨了，我有另外一台PC用來處理建模跟渲染，全速運轉時兩台的音量有天壤之別，MAC studio幾乎沒有聲音使用起來的體驗真的是非常好。 -
更新一下前面提到的
ARC4NUM/Qwen3.8-Flash-Next-Uncensored-MLX-Serve-4bit。目前已經測完，結果不錯，現在它已經取代 MTPLX Optimized-Speed，成為我日常 Hermes / coding agent 的主力模型。
環境：
- Mac Studio M5 Max 128GB
- mlx-serve 26.9.5
- context：262144
- MTP：depth 6
- uncensored mixed 4/8-bit
簡單整理實測結果：
項目 結果 Serial decode 65.24 tok/s MTP decode 154.23 tok/s 128K retrieval PASS near-128K tool call PASS 251K retrieval PASS 128K prefill ~2165 tok/s 251K prefill ~2128 tok/s 154 tok/s 是短 decode isolation、MTP acceptance 很高時的結果，但大多時候MTP都能維持在3左右；目前確認這版的 MTP 確實有很明顯的實際加速。
我自己比較在意的是長 context。
251K prompt 下 retrieval 仍然正確，prefill 還維持在約 2.1K tok/s，而且測試期間沒有看到 swap 增長或明顯 memory pressure。
另外這顆相較之前測的 uncensored oQ5e，最大的優勢其實是記憶體餘裕比較大。
runtime 對 weights 的估計約 70GB 級，而 Q5 先前光 model memory 就接近 95GB，甚至因為 PLE 無法完整 resident 被迫 SSD offload。
對 128GB Mac 來說，這差異滿重要。
因為我不只想跑一顆主模型，之後還會同時放一些 JEV-like / router / verifier / ASR 之類的輔助模型。主模型少吃二、三十 GB unified memory，整套 Agent system 就好配置很多。
Apple Silicon 這邊還有另一個優勢：小型輔助模型如果有合適的 Core ML / ANE runtime，可以把部分計算放到 ANE，不必全部跟主 LLM 搶 GPU compute。當然權重還是會占 unified memory，但至少 compute 資源可以分流。
目前我的配置方向大概就是：
ARC4NUM mixed 4/8 + mlx-serve + MTP
→ 主 LLM / HermesJEV-like / ASR / classifier
→ 小模型，能走 ANE 的盡量走 ANE這也是我最後決定留下 mixed 4/8，而不是追更高 bit quant 的主要原因：對我來說，整台 Mac 能同時跑多少個有用的元件，比單顆模型多一點 benchmark 分數更重要。
目前實際 coding / agent 使用也沒有遇到明顯問題，所以先把它當主力繼續用。
如果後續長任務、tool calling 或 200K+ context 出現新的問題，我再回來更新。
-
，系统 取消固定了此主题
-
