在Mac Mini M4 Pro 64GB 上部署本地模型

[Cen Ku]

各位大神好, 我在用Mac Mini M4 Pro 64GB, 想在本地跑大模型和AI Agent, 方案如下

1. llama.cpp + Qwen3.6-35B-A3B Q4 + Hermes / Pi

2. rapid-mlx + Qwen3.6-35B-A3B Q4 + Hermes / Pi

以上都試過, 性能方面方案2較快, 但方案1就比較穩定, 而且也想過再跑comfyUI, 但64GB 不夠用, 有沒有大神有好建議, 如何調整大模型的大小.

主要想打做個人助理, 能自動化和基礎生圖改圖, 謝謝

[terry]

Mac跑ComfyUI不仅仅是内存不够，而是芯片算力拉垮，带宽也不够，画图，音频可以玩玩，视频就想多了。即便是画图也比较慢，但肯定可以玩的。有限自己画图的话可以安装draw things门槛很低，不过没有API，无法自动化。
分开跑，一起跑根本不现实，这小主机AI性能很拉垮。

[Cen Ku]

明白了, 就想著小玩一下, 分開放是可以有輸出的, 視頻確實不現實, 看來還是deepseek + nano banana, 就是燒一點錢LOL