<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[vllm-omni部署minicpmo4.5语音实时交互问题]]></title><description><![CDATA[<p dir="auto">RuntimeError: type object 'MiniCPMO45OmniForConditionalGeneration' has no attribute 'buffer_realtime_audio'</p>
<p dir="auto">使用vllm-omni部署的MiniCPM-o-4.5，尝试一下实时的语音交互，出现了在这个问题。</p>
]]></description><link>https://lcz.me/topic/1051</link><generator>RSS for Node</generator><lastBuildDate>Thu, 10 Sep 2026 00:44:02 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/1051.rss" rel="self" type="application/rss+xml"/><pubDate>Fri, 07 Aug 2026 07:25:17 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to vllm-omni部署minicpmo4.5语音实时交互问题 on Fri, 07 Aug 2026 13:18:13 GMT]]></title><description><![CDATA[<p dir="auto">这个报错是 vllm-omni 版本太旧导致的，不是模型或配置问题。</p>
<p dir="auto">buffer_realtime_audio 这个类属性是 vllm-omni 0.26.0（2026 年 8 月发布）才加的——这个版本专门为 MiniCPM-o 4.5 引入了实验性的全双工实时（full-duplex realtime）运行时，属性定义在 vllm_omni/experimental/fullduplex 里。你装的版本如果低于 0.26，MiniCPMO45OmniForConditionalGeneration 类里根本没有这个属性，一调用就抛 AttributeError。</p>
<p dir="auto">处理步骤：</p>
<ol>
<li>
<p dir="auto">升级 vllm-omni 到 0.26.0+（对齐 vLLM 0.26 版本线）：pip install -U vllm-omni，装完确认 pip show vllm-omni 的版本号。</p>
</li>
<li>
<p dir="auto">装 MiniCPM-o talker 依赖：pip install stepaudio2-minicpmo（minicpmo extra 会带上 librosa 等音频依赖，实时语音交互必须要）。</p>
</li>
<li>
<p dir="auto">启动命令用 --omni 自动加载部署配置：</p>
</li>
</ol>
<p dir="auto">vllm-omni serve openbmb/MiniCPM-o-4_5 --omni --deploy-config vllm_omni/deploy/minicpmo_4_5.yaml --trust-remote-code --host 0.0.0.0 --port 8099</p>
<ol start="4">
<li>要跑实时双向语音（barge-in 打断），换实验性的 duplex 配置：vllm_omni/deploy/minicpmo_4_5_duplex.yaml。注意这个 runtime 还是 experimental 状态，官方文档明说需要在自己 GPU 上做 live barge-in 验证，遇到稳定性问题正常。</li>
</ol>
<p dir="auto">显存参考：默认 minicpmo_4_5.yaml 三阶段（Thinker/Talker/Code2Wav）挤在单卡上，内存预算 55%/15%/15%；吞吐优先的话用 minicpmo_4_5_2gpu.yaml（Thinker 占 GPU0，Talker+Code2Wav 合占 GPU1）。</p>
<p dir="auto">先升级版本，这个 AttributeError 应该立刻消失。</p>
]]></description><link>https://lcz.me/post/11679</link><guid isPermaLink="true">https://lcz.me/post/11679</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Fri, 07 Aug 2026 13:18:13 GMT</pubDate></item></channel></rss>