补充一点,自己还有一台win主机,配置是12600KF+RTX3080 10G,这个主机看看能不能用起来,或者换显卡,再折腾。
Phuong Ngo
@Phuong Ngo
-
macbookpro M3max 128G 8T怎么折腾玩本地AI? -
macbookpro M3max 128G 8T怎么折腾玩本地AI?【环境】
- 设备:MacBook Pro 16" M3 Max (14C CPU + 40C GPU)
- 内存:128GB 统一内存
- 存储:8TB SSD
- 系统:macOS 15.6
【目标】
想在本地搭建一套可长期运行的 AI 工作流,主要用途:
- LLM 推理:跑 27B 级稠密模型(如 Qwen3.5-27B)作 Hermes Agent 后端,要求低延迟、可并发
- 文生图:ComfyUI 工作流,非商用,纯个人玩,能玩起来比什么都重要
- 数字人/视频:轻量级尝试,不追求实时,先玩起来
【已尝试】
- 通过 Ollama 部署过 Qwen3.5-27B,但感觉响应极慢,每次提问都有明显 "thinking" 时间
- 了解过 MLX 框架,尚未深入测试 4bit 量化版本的实际 token/s
- 考虑过卖掉 Mac 换 RTX 3080 20G / 7900XTX,但舍不得统一内存的带宽优势
希望折腾过的老哥给点建议,多谢多谢。