除了 Qwen、DeepSeek、GLM，本地还能跑扩散 LLM 和决策模型吗？

lunarmoon26

最近看了 Sam Witteveen 介绍 Mercury 3 和 Mercury Decide 的视频，让我想到：除了 Qwen、DeepSeek、GLM 这些常见的自回归生成模型，本地部署还有哪些不同路线？

先说明：视频由 Inception 赞助，下面结合官方文档整理，不是我的实测。厂商跑分、视频演示和本地部署能力，需要分开看。

扩散和决策，不是一条分类轴

Diffusion 讲“怎么生成”，Decision 讲“输出什么”。

自回归模型像打字机，从左往右逐 token 延伸；扩散语言模型更像在草稿上多轮修改，同时确定多个位置。这里不是把文字当图片做连续去噪，常见文本扩散走的是离散 token 路线。

也不一定一次生成整篇文章。比如 DiffusionGemma 在块内并行去噪，当前块完成后再生成下一块。未收敛的中间画布不是已确认的答案。

为什么可能更快？低并发自回归解码常受显存带宽限制；扩散每轮处理更多位置，有机会利用闲置计算能力，减少生成同等输出所需的串行轮次。但这不是免费加速：去噪仍要多次前向，步数减少也可能损失质量。

决策模型则接收状态、问题与候选项，直接返回选择、是非概率或等级评分，不必先写解释再解析。它不像固定标签分类器那样只能回答预设的一类问题，候选项和判断标准可以随请求变化。

自回归、块扩散与决策模型的区别；概率为虚构示例，非实测

原创机制示意：方块不对应真实分词；决策模型不一定采用扩散架构。

Mercury 3 是生成模型。Inception 发布页报告约 1,068 tok/s，视频将其描述为 Blackwell 上的结果；官方文档列出 1M 上下文、工具调用、结构化输出和可调推理强度。它走兼容 OpenAI 的聊天接口。

视频还介绍了规模增长：从 Mercury 1 mini 到 Mercury 3，总参数增加超过 40 倍，厂商的基准汇总指标约提升至 3 倍。这支持“扩散模型也能通过规模和训练改进”的方向，但不是通用智能提高三倍，更不是已经全面超越自回归模型。

Mercury Decide 则回答有界问题，例如：这是账单工单吗？需要升级处理吗？截图里是否有人物或错误提示？官方目前支持文本、JSON、图像，使用独立的 /v1/decisions，不是聊天接口。

它的三个典型输出是：

视频里最有意思的不是聊天，而是“Decide 分流 → Mercury 3 起草 → Decide 检查过度承诺与语气”的组合。不过展示几个成功案例，不等于生产可靠性；截图看起来支付成功，也不能替代支付系统的交易状态。

视频转述了 LegalBench 分数、单问题约 0.16 秒、64 个判断约 0.4 秒等第三方评测数据；我没有核验对应原始报告与测试条件，因此不把它们作为本文的性能结论。

Mercury 的免费 API 不等于本地部署，我没有找到 Mercury 3/Decide 可下载的官方权重。 但下面几条路线已经有公开权重：

路线	候选模型	值得注意
扩散生成	DiffusionGemma-26B-A4B-it	约 25.2B 总参数、3.8B 激活；Apache 2.0；有 Transformers、vLLM 入口
扩散研究	LLaDA / iLLaDA-8B	有推理实现，适合研究采样、步数与质量
决策	Strands Decider 2B	Qwen3.5 主干换 pointer head；可本地服务，代码采用 Apache 2.0
多模态决策	Liquid d1-3B / d1-omni-600M	后者仍属实验版；LFM Open License 有商用收入条件

Google 称 DiffusionGemma 量化后可在约 18GB 显存预算内运行，24GB 级显卡有尝试空间，但不能据此保证长上下文和并发也能放下。MoE 只激活部分参数，也不意味着只需存放激活部分的权重。

开放权重的本地路线与 Mercury 托管 API 的区别

资料整理，不含本机跑分；模型版本、许可证和运行时需分别核对。

还有一个交集：vLLM 已合并 DiffusionGemma 的结构化读取支持，固定回答模板后读取答案槽位的分布。但决策接口仍是示例服务，不等同于专门训练、校准好的决策模型。

原始 LLaDA 官方就承认过采样慢于自回归基线；扩散不是天然更快。至少要同时看任务质量、首个可用结果延迟、完整耗时、显存与功耗，而不是只看 tok/s。

决策模型也要测中文、选项换序、无合适选项、长输入和提示注入。输出概率来自模型，不代表已在你的业务上校准，更不代表可以直接放行高风险操作。

我更看好把它们当作新的组件选择，而不是提前宣布谁取代谁。大家试过哪些本地扩散／决策模型？欢迎贴版本、硬件和测试口径。