<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[除了 Qwen、DeepSeek、GLM，本地还能跑扩散 LLM 和决策模型吗？]]></title><description><![CDATA[<p dir="auto">最近看了 Sam Witteveen 介绍 Mercury 3 和 Mercury Decide 的<a href="https://www.youtube.com/watch?v=bEO_QeJU7U0" rel="nofollow ugc">视频</a>，让我想到：除了 Qwen、DeepSeek、GLM 这些常见的自回归生成模型，本地部署还有哪些不同路线？</p>
<p dir="auto">先说明：<strong>视频由 Inception 赞助，下面结合官方文档整理，不是我的实测。厂商跑分、视频演示和本地部署能力，需要分开看。</strong></p>
<h2>扩散和决策，不是一条分类轴</h2>
<p dir="auto"><strong>Diffusion 讲“怎么生成”，Decision 讲“输出什么”。</strong></p>
<p dir="auto">自回归模型像打字机，从左往右逐 token 延伸；扩散语言模型更像在草稿上多轮修改，同时确定多个位置。这里不是把文字当图片做连续去噪，常见文本扩散走的是离散 token 路线。</p>
<p dir="auto">也不一定一次生成整篇文章。比如 DiffusionGemma 在块内并行去噪，当前块完成后再生成下一块。未收敛的中间画布不是已确认的答案。</p>
<p dir="auto">为什么可能更快？低并发自回归解码常受显存带宽限制；扩散每轮处理更多位置，有机会利用闲置计算能力，减少生成同等输出所需的串行轮次。<strong>但这不是免费加速：去噪仍要多次前向，步数减少也可能损失质量。</strong></p>
<p dir="auto">决策模型则接收状态、问题与候选项，直接返回选择、是非概率或等级评分，不必先写解释再解析。它不像固定标签分类器那样只能回答预设的一类问题，候选项和判断标准可以随请求变化。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/26559633-08fa-48df-bac7-45a09895a7a8.svg" alt="自回归、块扩散与决策模型的区别；概率为虚构示例，非实测" class="img-markdown  img-fluid" /></p>
<p dir="auto"><em>原创机制示意：方块不对应真实分词；决策模型不一定采用扩散架构。</em></p>
<h2>Mercury 3 + Decide，具体展示了什么？</h2>
<p dir="auto">Mercury 3 是生成模型。Inception 发布页报告约 <strong>1,068 tok/s</strong>，视频将其描述为 Blackwell 上的结果；官方文档列出 <strong>1M 上下文、工具调用、结构化输出和可调推理强度</strong>。它走兼容 OpenAI 的聊天接口。</p>
<p dir="auto">视频还介绍了规模增长：从 Mercury 1 mini 到 Mercury 3，总参数增加超过 40 倍，厂商的基准汇总指标约提升至 3 倍。这支持“扩散模型也能通过规模和训练改进”的方向，<strong>但不是通用智能提高三倍，更不是已经全面超越自回归模型。</strong></p>
<p dir="auto">Mercury Decide 则回答有界问题，例如：这是账单工单吗？需要升级处理吗？截图里是否有人物或错误提示？官方目前支持文本、JSON、图像，使用独立的 <code>/v1/decisions</code>，不是聊天接口。</p>
<p dir="auto">它的三个典型输出是：</p>
<ul>
<li><strong>是非</strong>：某个条件成立的概率；</li>
<li><strong>选择</strong>：候选类别及其概率分布；</li>
<li><strong>评分</strong>：按给定等级标准评分。</li>
</ul>
<p dir="auto">视频里最有意思的不是聊天，而是“Decide 分流 → Mercury 3 起草 → Decide 检查过度承诺与语气”的组合。不过展示几个成功案例，不等于生产可靠性；<strong>截图看起来支付成功，也不能替代支付系统的交易状态。</strong></p>
<p dir="auto">视频转述了 LegalBench 分数、单问题约 0.16 秒、64 个判断约 0.4 秒等第三方评测数据；我没有核验对应原始报告与测试条件，因此不把它们作为本文的性能结论。</p>
<h2>本地能跑哪些？</h2>
<p dir="auto"><strong>Mercury 的免费 API 不等于本地部署，我没有找到 Mercury 3/Decide 可下载的官方权重。</strong> 但下面几条路线已经有公开权重：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>路线</th>
<th>候选模型</th>
<th>值得注意</th>
</tr>
</thead>
<tbody>
<tr>
<td>扩散生成</td>
<td>DiffusionGemma-26B-A4B-it</td>
<td>约 25.2B 总参数、3.8B 激活；Apache 2.0；有 Transformers、vLLM 入口</td>
</tr>
<tr>
<td>扩散研究</td>
<td>LLaDA / iLLaDA-8B</td>
<td>有推理实现，适合研究采样、步数与质量</td>
</tr>
<tr>
<td>决策</td>
<td>Strands Decider 2B</td>
<td>Qwen3.5 主干换 pointer head；可本地服务，代码采用 Apache 2.0</td>
</tr>
<tr>
<td>多模态决策</td>
<td>Liquid d1-3B / d1-omni-600M</td>
<td>后者仍属实验版；LFM Open License 有商用收入条件</td>
</tr>
</tbody>
</table>
<p dir="auto">Google 称 DiffusionGemma 量化后可在约 <strong>18GB 显存预算</strong>内运行，24GB 级显卡有尝试空间，但不能据此保证长上下文和并发也能放下。MoE 只激活部分参数，也不意味着只需存放激活部分的权重。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/ce8265f2-38da-4773-bd29-136b0592a88e.svg" alt="开放权重的本地路线与 Mercury 托管 API 的区别" class="img-markdown  img-fluid" /></p>
<p dir="auto"><em>资料整理，不含本机跑分；模型版本、许可证和运行时需分别核对。</em></p>
<p dir="auto">还有一个交集：vLLM 已合并 DiffusionGemma 的结构化读取支持，固定回答模板后读取答案槽位的分布。但决策接口仍是示例服务，<strong>不等同于专门训练、校准好的决策模型</strong>。</p>
<h2>能跑以后，应该测什么？</h2>
<p dir="auto">原始 LLaDA 官方就承认过采样慢于自回归基线；扩散不是天然更快。至少要同时看任务质量、首个可用结果延迟、完整耗时、显存与功耗，而不是只看 tok/s。</p>
<p dir="auto">决策模型也要测中文、选项换序、无合适选项、长输入和提示注入。<strong>输出概率来自模型，不代表已在你的业务上校准，更不代表可以直接放行高风险操作。</strong></p>
<p dir="auto">我更看好把它们当作新的组件选择，而不是提前宣布谁取代谁。大家试过哪些本地扩散／决策模型？欢迎贴版本、硬件和测试口径。<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f91d.png?v=a055419e292" class="not-responsive emoji emoji-android emoji--handshake" style="height:1.4em;width:auto;vertical-align:middle" title=":handshake:" alt="🤝" /></p>
<p dir="auto">配套阅读：<a href="https://lcz.me/topic/2585">《本地 Agent 的另一种分工：扩散模型做生成，决策模型做判断》</a>（AI Agent 区）。</p>
<h3>一手资料</h3>
<ul>
<li><a href="https://www.inceptionlabs.ai/blog/introducing-mercury-3" rel="nofollow ugc">Mercury 3 发布说明</a> · <a href="https://docs.inceptionlabs.ai/get-started/models" rel="nofollow ugc">Mercury 官方接口</a></li>
<li><a href="https://huggingface.co/google/diffusiongemma-26B-A4B-it" rel="nofollow ugc">DiffusionGemma 模型卡</a> · <a href="https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/" rel="nofollow ugc">Google 发布说明</a></li>
<li><a href="https://github.com/ML-GSAI/LLaDA" rel="nofollow ugc">LLaDA/iLLaDA 官方实现</a></li>
<li><a href="https://github.com/strands-labs/strands-decider" rel="nofollow ugc">Strands Decider</a></li>
<li><a href="https://www.liquid.ai/blog/d1-open" rel="nofollow ugc">Liquid 开放 d1</a> · <a href="https://huggingface.co/LiquidAI/d1-3B/blob/main/LICENSE" rel="nofollow ugc">许可证</a></li>
<li><a href="https://github.com/vllm-project/vllm/pull/57250" rel="nofollow ugc">vLLM 结构化读取 PR</a></li>
</ul>
]]></description><link>https://lcz.me/topic/2584</link><generator>RSS for Node</generator><lastBuildDate>Tue, 10 Nov 2026 02:43:24 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2584.rss" rel="self" type="application/rss+xml"/><pubDate>Sun, 25 Oct 2026 21:42:42 GMT</pubDate><ttl>60</ttl></channel></rss>