<![CDATA[Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試]]>最近在剛到手的Mac Studio M5 Max 128GB 上測 Qwen3.8 Flash-Next，主要用途是 Hermes / coding agent，所以我比較在意的不是單純短 prompt 的最高 tok/s，而是長 context、prefill、decode、tool calling，以及實際 agent workload 下的穩定性。

這幾天剛好完成一輪 MTPLX Optimized-Speed 和 uncensored oQ5e 的測試，整理一些數據供參考。

這不是嚴格的模型能力 benchmark，主要是記錄同一台機器上不同 runtime / quant 的實際表現。

測試環境

硬體：

  • Mac Studio M5 Max
  • 128GB unified memory

目前比較的兩套配置：

MTPLX Optimized-Speed

Qwen3.8-Flash-Next

  • context：131072
  • MTP depth：3
  • 目前日用 baseline

Uncensored oQ5e

mlx-community/Qwen3.8-Flash-Next-Uncensored-oQ5e-mtp

runtime：

oMLX 0.7.0.dev2

  • context：131072
  • concurrency：1
  • MTP OFF / ON 都有測試
  • native model memory 約 94.65GB

所有長 context 測試都有實際檢查答案或 tool arguments，不是只確認 HTTP 200。

oQ5e MTP OFF 長 context

Case Prompt / completion Wall time Result
32K retrieval 32704 / 18 26.90s PASS
64K retrieval 65472 / 18 43.75s PASS
128K retrieval 131007 / 18 102.69s PASS
Near-128K tool 130862 / 44 103.41s PASS
15K assistant-less tool history 15131 / 57 14.07s PASS

第二次 128K retrieval 與 near-128K tool case 都是 0 cached prompt tokens。

Near-128K tool call 最後正確回傳：

report_probe(value=7)

所以至少在這台機器與這個 runtime 上，oQ5e 的 128K retrieval / tool calling 本身沒有出現明顯 correctness 問題。

MTPLX Optimized-Speed 128K

這次也順便補了之前沒有正式測過的 MTPLX 128K。

128K retrieval

  • prompt：131007 tokens
  • completion：19
  • wall time：70.80s
  • TTFT：69.30s
  • prefill：1900.4 tok/s
  • decode：49.36 tok/s
  • correctness：PASS

Near-128K structured tool call

  • prompt：約 130.9K
  • completion：26
  • wall time：74.51s
  • prefill：1816.4 tok/s
  • decode：54.81 tok/s
  • tool call：PASS

相同級別的 near-128K tool workload，oQ5e MTP OFF 是 103.41s。

Optimized-Speed 的長 context 表現蠻讓人驚訝的，至少 128K 下的 prefill 仍維持約 1.8K～1.9K tok/s。

oQ5e + Lightning MTP

其中 near-128K tool case 的 native log：

  • accepted drafts：29 / 29
  • acceptance：100%
  • tokens / cycle：2.81
  • depth 1：13 / 13
  • depth 2：12 / 12
  • depth 3：4 / 4

但實際 matched wall time：

MTP OFF MTP ON
Near-128K tool 103.41s 104.39s
Result PASS PASS

MTP ON 反而慢約 0.9%。

另外 32K / 128K retrieval 的 MTP ON 測試有大量 prompt cache，因此沒有拿那些數字當成有效的 MTP speedup 證據。

檢查 oMLX native log 後，找到：

Qwen4-Exp PLE forced to SSD

runtime 顯示：

  • estimated resident requirement：135.0GB
  • memory ceiling：115.4GB
  • mmap model：約 94.7GB

所以 PLE 沒辦法完整 resident。

oMLX 同時警告：

Decode will be roughly 2.5x slower than a resident load.

應該就是 MTP 的 draft acceptance 還滿好的，但實際 wall-time 沒什麼變化

目前的使用定位

MTPLX Optimized-Speed

目前繼續當 daily baseline。

128K 實測大約：

  • prefill：1800～1900 tok/s
  • decode：50～55 tok/s
  • retrieval：PASS
  • structured tool calling：PASS

Uncensored oQ5e

uncensored 內容專屬

目前已確認：

  • 32K PASS
  • 64K PASS
  • 128K PASS
  • near-128K tool PASS
  • assistant-less tool history PASS

但在 128GB unified memory 上，約 95GB model memory 加上 PLE SSD offload，整體資源壓力與長 context latency 都比較高。

oQ5e + Lightning MTP

不打算作為 daily 配置。開MTP也沒有明顯好處

正在測的版本：mixed 4/8 + mlx-serve

去審查當然要又準又快啊

ARC4NUM/Qwen3.8-Flash-Next-Uncensored-MLX-Serve-4bit

這個版本我對比了一陣子，4bit本身會快一點 ，另外 precision allocation：

  • routed experts：4-bit
  • attention / shared expert / GDN 等：8-bit
  • router / gate / 1D tensors：BF16
  • MTP 保留
  • n-gram / PLE：4-bit mmap
  • runtime：mlx-serve

作者在 M5 Max 128GB 上公布的數據約：

  • serial：55.7 tok/s
  • MTP：60.3 tok/s
  • resident memory：約 68GB

如果實際 RAM占用真的落在 68～70GB 左右，我認為這對 128GB Mac 的意義比單純多幾個 tok/s 還大。

因為這代表除了模型本身之外，還能留更多 unified memory 給：

  • KV cache
  • Hermes
  • ASR
  • JEV(每天都有新的超熱鬧...)
  • 其他 agent / local services

262K context 也可能因此比目前的 Q5 更實際。

下一輪預計測：

  • raw decode
  • MTP OFF / ON
  • 128K retrieval
  • near-128K structured tool calling
  • 約 256K retrieval
  • resident memory / swap
  • 實際 coding / agent task

如果有人也在 M5 Max 128GB 上跑過這個 ARC4NUM mixed 4/8 + mlx-serve 版本，也很歡迎分享 prefill、decode、RAM 使用量，以及長 context / tool calling 的實際表現。

]]>https://lcz.me/topic/1997RSS for NodeMon, 12 Oct 2026 15:39:03 GMTTue, 29 Sep 2026 16:23:21 GMT60<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Sun, 04 Oct 2026 06:29:38 GMT]]>@Tony-Wang M4比M5差很远，断崖式差距

]]>https://lcz.me/post/22259https://lcz.me/post/22259Sun, 04 Oct 2026 06:29:38 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Fri, 02 Oct 2026 15:15:22 GMT]]>更新一下前面提到的 ARC4NUM/Qwen3.8-Flash-Next-Uncensored-MLX-Serve-4bit。

目前已經測完，結果不錯，現在它已經取代 MTPLX Optimized-Speed，成為我日常 Hermes / coding agent 的主力模型。

環境：

  • Mac Studio M5 Max 128GB
  • mlx-serve 26.9.5
  • context：262144
  • MTP：depth 6
  • uncensored mixed 4/8-bit

簡單整理實測結果：

項目 結果
Serial decode 65.24 tok/s
MTP decode 154.23 tok/s
128K retrieval PASS
near-128K tool call PASS
251K retrieval PASS
128K prefill ~2165 tok/s
251K prefill ~2128 tok/s

154 tok/s 是短 decode isolation、MTP acceptance 很高時的結果，但大多時候MTP都能維持在3左右；目前確認這版的 MTP 確實有很明顯的實際加速。

我自己比較在意的是長 context。

251K prompt 下 retrieval 仍然正確，prefill 還維持在約 2.1K tok/s，而且測試期間沒有看到 swap 增長或明顯 memory pressure。

另外這顆相較之前測的 uncensored oQ5e，最大的優勢其實是記憶體餘裕比較大。

runtime 對 weights 的估計約 70GB 級，而 Q5 先前光 model memory 就接近 95GB，甚至因為 PLE 無法完整 resident 被迫 SSD offload。

對 128GB Mac 來說，這差異滿重要。

因為我不只想跑一顆主模型，之後還會同時放一些 JEV-like / router / verifier / ASR 之類的輔助模型。主模型少吃二、三十 GB unified memory，整套 Agent system 就好配置很多。

Apple Silicon 這邊還有另一個優勢：小型輔助模型如果有合適的 Core ML / ANE runtime，可以把部分計算放到 ANE，不必全部跟主 LLM 搶 GPU compute。當然權重還是會占 unified memory，但至少 compute 資源可以分流。

目前我的配置方向大概就是：

ARC4NUM mixed 4/8 + mlx-serve + MTP
→ 主 LLM / Hermes

JEV-like / ASR / classifier
→ 小模型，能走 ANE 的盡量走 ANE

這也是我最後決定留下 mixed 4/8，而不是追更高 bit quant 的主要原因：對我來說，整台 Mac 能同時跑多少個有用的元件，比單顆模型多一點 benchmark 分數更重要。

目前實際 coding / agent 使用也沒有遇到明顯問題，所以先把它當主力繼續用。

如果後續長任務、tool calling 或 200K+ context 出現新的問題，我再回來更新。

]]>https://lcz.me/post/21976https://lcz.me/post/21976Fri, 02 Oct 2026 15:15:22 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Fri, 02 Oct 2026 14:58:48 GMT]]>@Nina-Chowdhry
看你要怎麼做取捨了，我有另外一台PC用來處理建模跟渲染，全速運轉時兩台的音量有天壤之別，MAC studio幾乎沒有聲音使用起來的體驗真的是非常好。

]]>https://lcz.me/post/21972https://lcz.me/post/21972Fri, 02 Oct 2026 14:58:48 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Fri, 02 Oct 2026 14:56:54 GMT]]>@johnnybegood
是有點貴啦，但想想硬體漲價的速度，現在可能還是最低點

]]>https://lcz.me/post/21971https://lcz.me/post/21971Fri, 02 Oct 2026 14:56:54 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 15:31:45 GMT]]>性价比不高呀，还是nv卡合适

]]>https://lcz.me/post/21854https://lcz.me/post/21854Thu, 01 Oct 2026 15:31:45 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 14:10:14 GMT]]>

@Tony-Wang 说:

M4 max 不可能这么拉吧...

感觉语音模型没弄对，今晚再试试看

]]>https://lcz.me/post/21842https://lcz.me/post/21842Thu, 01 Oct 2026 14:10:14 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 07:51:59 GMT]]>M4 max 不可能这么拉吧...

]]>https://lcz.me/post/21762https://lcz.me/post/21762Thu, 01 Oct 2026 07:51:59 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 05:27:15 GMT]]>M4 Max 128GB / MLX / Qwen3-30B-A3B-4bit Benchmark

测试环境

  • 芯片：Apple M4 Max
  • 统一内存：128GB
  • Runtime：MLX / mlx_lm.server
  • 模型：mlx-community/Qwen3-30B-A3B-4bit
  • API：OpenAI-compatible API
  • 测试 Context：8K / 32K / 64K / 128K
  • 最大输出：512 tokens
  • 输出统计：Qwen3 reasoning + content
  • Prefill 计算方式：Prompt Tokens / TTFT

注意：这里的 Prefill 是根据端到端 TTFT 计算的近似值，包含 API / Server 等额外开销，并非 MLX runtime 内部的纯 prompt-processing throughput。

Benchmark Results

Context Prompt Tokens Server Prompt Tokens TTFT Approx. Prefill Output Tokens Decode Time Decode
8K 8,000 8,015 6.560 s 1,219.5 tok/s 328 4.316 s 75.8 tok/s
32K 32,000 32,016 46.180 s 692.9 tok/s 332 7.937 s 41.7 tok/s
64K 64,000 64,016 137.716 s 464.7 tok/s 429 21.786 s 19.6 tok/s
128K 128,000 128,016 575.329 s 222.5 tok/s 512 41.661 s 12.3 tok/s

Raw Results

8K
Prompt tokens  : 8,000
Server prompt  : 8,015
TTFT           : 6.560 s
Approx prefill : 1,219.5 tok/s
Output tokens  : 328
Decode time    : 4.316 s
Decode         : 75.8 tok/s

32K
Prompt tokens  : 32,000
Server prompt  : 32,016
TTFT           : 46.180 s
Approx prefill : 692.9 tok/s
Output tokens  : 332
Decode time    : 7.937 s
Decode         : 41.7 tok/s

64K
Prompt tokens  : 64,000
Server prompt  : 64,016
TTFT           : 137.716 s
Approx prefill : 464.7 tok/s
Output tokens  : 429
Decode time    : 21.786 s
Decode         : 19.6 tok/s

128K
Prompt tokens  : 128,000
Server prompt  : 128,016
TTFT           : 575.329 s
Approx prefill : 222.5 tok/s
Output tokens  : 512
Decode time    : 41.661 s
Decode         : 12.3 tok/s
]]>https://lcz.me/post/21729https://lcz.me/post/21729Thu, 01 Oct 2026 05:27:15 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 04:33:30 GMT]]>我的m4 max 128GB正在找这个测试。有结果我会传上来。

]]>https://lcz.me/post/21721https://lcz.me/post/21721Thu, 01 Oct 2026 04:33:30 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 04:26:08 GMT]]>

@Tony-Wang 说:

128K decode还能在 50+, prefill 接近 2000, 很不错了.
完全能干活了.

那utlra 理论性能会更好一些。 就看长下文以及多并发了

]]>https://lcz.me/post/21719https://lcz.me/post/21719Thu, 01 Oct 2026 04:26:08 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 02:18:30 GMT]]>@fanweng-code 这套配置下来得4万块人民币吧， 感觉还是太贵了， 性价比这块还是要皱皱眉头。

]]>https://lcz.me/post/21691https://lcz.me/post/21691Thu, 01 Oct 2026 02:18:30 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 02:16:07 GMT]]>128K decode还能在 50+, prefill 接近 2000, 很不错了.
完全能干活了.

]]>https://lcz.me/post/21690https://lcz.me/post/21690Thu, 01 Oct 2026 02:16:07 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Thu, 01 Oct 2026 01:26:01 GMT]]>补充一些图片

]]>https://lcz.me/post/21675https://lcz.me/post/21675Thu, 01 Oct 2026 01:26:01 GMT<![CDATA[Reply to Mac Studio M5 Max 128GB 和 Qwen3.8 Flash-Next的一些測試 on Wed, 30 Sep 2026 01:55:11 GMT]]>性能在意料之中。
能多并发吗？ 多并发一直是mac的死穴

]]>https://lcz.me/post/21483https://lcz.me/post/21483Wed, 30 Sep 2026 01:55:11 GMT