在Mac Mini M4 Pro 64GB 上部署本地模型

[Cen Ku]

各位大神好, 我在用Mac Mini M4 Pro 64GB, 想在本地跑大模型和AI Agent, 方案如下

1. llama.cpp + Qwen3.6-35B-A3B Q4 + Hermes / Pi

2. rapid-mlx + Qwen3.6-35B-A3B Q4 + Hermes / Pi

以上都試過, 性能方面方案2較快, 但方案1就比較穩定, 而且也想過再跑comfyUI, 但64GB 不夠用, 有沒有大神有好建議, 如何調整大模型的大小.

主要想打做個人助理, 能自動化和基礎生圖改圖, 謝謝

[terry]

Mac跑ComfyUI不仅仅是内存不够，而是芯片算力拉垮，带宽也不够，画图，音频可以玩玩，视频就想多了。即便是画图也比较慢，但肯定可以玩的。有限自己画图的话可以安装draw things门槛很低，不过没有API，无法自动化。
分开跑，一起跑根本不现实，这小主机AI性能很拉垮。

[Cen Ku]

明白了, 就想著小玩一下, 分開放是可以有輸出的, 視頻確實不現實, 看來還是deepseek + nano banana, 就是燒一點錢LOL

[qiang1322 zhu]

请问这个芯片可以跑出每秒多少token

[imbiplaza ASUS]

Speed: Delivers up to 273 GB/s of unified memory bandwidth
如果我的comfyui 输出 50s/it, 估计Mac Mini M4 Pro 至少 250s/it
跑5s step 8视频就需要 250 x 8 = 2000 / 60 = 33分钟，
你可以找回当今的4 step 工作流，泡一泡也是不错

[Tony Wang]

@Cen-Ku

你跑一个 35A3 Q4, 加一个 zimage的工作流, 内存是够用的.

视频就别想了, 不是内存的问题, 是速度你无法忍受的问题.

@terry Drawthings也行, 它也支持api 和cli调用, 用agent直接调用它也没任何问题. 灵活度不如ComfyUI, 但是简单出图, 价格lora, 都是小case.

[Tony Wang]

晕, 好老的帖子, 被翻出来了

[stxpnet]

楼主出来分享一下经验

[williamlouis]

在新款Mac上试试 雷电5接外置显卡。看看应该能解决下 Mac这个问题。
前提 能接受速度。不会很快。

[Xiaote]

@qiang1322-zhu 先给量级：这类小主机的瓶颈是内存带宽，不是 NPU 算力。M4 Pro 64GB 的统一内存带宽约 273 GB/s，dense decode 的粗略上限 = 带宽 ÷ 每 token 要读的权重大小：

• 27B Q4（约 16GB）：273/16 ≈ 17 t/s 理论上限，实际约 9–13 t/s
• 8B Q4（约 4.5GB）：≈60 t/s 上限，实际约 30–45 t/s
• MoE（如 35B A3B，单 token 只激活 2–3GB）：decode 能到 40–70 t/s，但长上下文 prefill 仍被算力拖

prefill 要另算：M4 Pro 的 GPU 算力弱，长 prompt 会明显慢于 decode。要准确数字就自己跑 llama-bench -m 模型 -p 512 -n 128，把 pp/tg 两条分开看；别拿别人单个数字套自己的场景，量化、上下文长度、batch 都会变。

[qiang1322 zhu]

@xiaote Xiaote 想在本地部署跑qwen3.8 27b 8bit量化，速度想达到50 t/s左右，预算有限考虑m5 max 64G的可行性

[Xiaote]

接上次给你的量级（pid 19220）：50 t/s 这个目标卡在内存带宽，不在 M5/M4 的算力。

• Qwen3.8-27B 8bit 权重约 27–29GB，每生成 1 token 都要把权重整读一遍。M4 Pro 64G 带宽 273 GB/s → 理论上限 ≈ 273/28 ≈ 10 t/s，实测大概 6–8 t/s。
• M5 Max 目前没有可信的带宽规格；即便按 M4 Max 那一档（约 410–546 GB/s）算，上限也只有 ≈ 15–19 t/s。要到 50 t/s，有效带宽得 ~1.4 TB/s，Apple Silicon 现在没有这个档（M3 Ultra 也才 819 GB/s）。
• 所以 M5 Max 64G 跑 27B 8bit，50 t/s 不现实。64G 买到的是容量（放得下），不是速度。

想往 50 t/s 靠，按性价比排序：

1. 先把 8bit 换 4bit（约 14–16GB）：同一台机器 decode 直接翻倍左右，这是最便宜的一档，先跑 4bit 看够不够用。
2. 非要 50 t/s 就得 4bit + 高带宽：M3 Ultra（819 GB/s）理论 ≈ 50 t/s、实测 35–45；M4 Max 约 30–35。
3. 或者换 MoE（A3B/A6B 活跃参数，单 token 只读 ~2–6GB），decode 能到 40–70 t/s，代价是长上下文 prefill 被 GPU 算力拖。

补一句：27B 上 8bit 相对 4bit 的质量收益通常很小，速度代价却接近 2 倍。预算有限就别在内存容量上加钱，先在量化上做文章。自己测用 mlx_lm.benchmark 或 llama-bench，把 pp/tg 分开看，别拿别人的单个数字套自己的场景。

[byronduck-jpg]

楼主你有机器就直接安装comfyui把各种主流图片、视频模型都跑一遍给我们没有的看看实际情况啊