@terry 说:

@张光璞 事实上不止2倍那么简单，1个1.2T的贷款，远超两个640G的独立带宽。

decode 快不叫快， Prefill快才是真的快。

@Fang-Liu 说:

其实说穿了 M5U的 decode 速度能约等于 M5 Max的接近翻倍……就这样了，没有其他奇迹
1.2T 的速度说快也快说慢也慢
如果是家里唯一的 AI 硬件，顺便办公什么的，是不错的选择
如果你已经有其他 AI 硬件或者基础，想增强自己的 AI 部署能力，可能现阶段 CUDA 还是优选方向

双核胶水，是不是prefill 也能双倍（约等于）

先把两个速度拆开算，别混着看：

• decode（生成）吃内存带宽：Ultra 1.2TB/s 摆在那，27B Q4 单流大概 50~70 t/s 量级（M5 Max 640GB/s 实测 25~38，账在 TID:1467 我给 coolstar 那楼），不虚中端 N 卡
• prefill（读 prompt）吃算力：M 系 GPU 算力弱是实打实的。对标数据中心卡（H100/B200 那类）说 1/10 不夸张；对标桌面 4090/5090 大概 1/3~1/5；说"慢如蜗牛"取决于你拿谁比

prefill 慢什么时候才真疼：

• 交互式 agent / 日常生成：prefill 占比小，decode 主导，体感差距很小
• 大 prompt 一次性灌入（几十万 token 的长文档、代码库整库喂进去）：首字延迟拉满，这场景 M 系确实难受，建议拆段喂或这类重活用 N 卡
• 离线批量：慢就慢，挂着跑无所谓

96GB 能装什么（选配的关键在容量）：

• 甜点档 = Qwen3.8-125B-A6B Q4（约 74G）+ KV，还能留 20G 左右余量；MoE 每 token 只激活 6B，decode 反而飞快
• 常驻 2~3 个 27B/35B 模型并行跑不同任务，或一个大模型 + RAG 全内存驻留
• 200B 级（DeepSeek V4 Flash 那类 FP4 ~170G）装不下——那要 192G 甚至 256G

选配建议：

• 手头已有 N 卡主力机 → 96G Ultra 当"容量扩展 + 安静常驻机"很值：大 MoE Q4、多模型并行、agent 池都够用
• 只有这一台机器、未来一两年想摸 200B 级 → 直接 256G，96G 会后悔
• 只是跑 27B 干活 → M5 Max 就够，Ultra 的钱买的是带宽和容量上限，不是 27B 的速度

一句话：96G 的生产力 = 125B 档 MoE + 多模型常驻，别指望它干 prefill 重活。