试图通过小爱音箱和本地LLM通话 (未完成)

[Tony Wang]

我有个旧的小爱音箱, 这两天折腾了一下, 试图把它和我的本地LLM连接起来, 能够实现我和AI的连续对话.

目前还没有折腾成功, 但是有了一定的进展. 跟大家汇报一下, 也看看有没有朋友有类似经验, 一起研究一下.

先说结果:

1, 可以通过软件hook小爱的对话, 并且做一个bridge连接我本地LLM, 实现单次对话. 但是延迟比较大, 无法打断小爱自己的回答. 所以最后的结果是, 一个问题, 小爱会回答两遍, 后面的才是LLM的回答.

2, 已经可以SSH进入小爱的root环境. 接下来是刷固件, 还是修改软件的路线还没定下来.

下面是折腾过程:

这个功能的实现, 有两个技术路线, 一是不动小爱的系统, 通过软件和它沟通; 二是进入小爱的系统, 进行更改或者刷机. 两条路线我都试了一下.

软件方面

试了xiaomusic, xiaoGPT 和 Songloft. 其中xiaomusic 不太适用; xiaoGPT无法通过小米账号的验证. Songloft可用, 并提供了一个webhook, 可以抓取小爱的mic和输出内容.

我用 "小爱同学, 问一下AI..." 来触发bridge, 去连接我本地的LLM, 本地的LLM是 vllm下的 Qwen3.6 27B Q8 版本, 速度还可以.

但问题是webhook的延迟比较大, 无法及时打断小爱自己的回答. 所以最后的结果是, 我提问了一个问题, 小爱会先自己回答一遍, 然后过10来秒, 它会再把LLM的回答念一遍.

结论: 单次对话可用, 但体验不好.

系统方面

我的小爱音箱是S12 PCB黑板, 属于早期的版本, 但手欠生过固件, 导致网上对早期root密码的破解全部不能用.

最后通过修改/etc/inittab 中的ttys0 login选项, 绕过了它的pam验证, 成功拿到了串口的root.

接下来就比较顺利, 有了root权限, 开启SSH. 但是又遇到一个麻烦问题. 它采用的是双系统镜像. 当我准备修改另一个镜像也同样开启SSH的时候, WLAN错误, 只能恢复出厂设置, 配置全部丢失.

目前是重新修改了当前的启动环境, 暂时不动第二个系统镜像. 反正启动如果不报错, 不升级固件, 它不会切换启动的镜像.

结论: 有进展, 待进一步研究.

拆机-->TTL-->SSH

小爱音箱还是比较好拆的, 底座的防滑胶垫撕开, 4个螺丝拧下来, 就露出了本体.

电路板上有个三脚插针, 分别是GND, TX和RX, 连接到电脑上, 115200, 8N1, 就能进入串口了.

启动过程中按 f+回车, 就能进入 False Safe模式, 可以看到, 它的系统就是在 openwrt的基础上改的.

进入False Safe模式后, 修改/etc/inittab中
ttys0为:

ttys0::askfirst:/bin/ash --login

这样就能通过串口直接root进入了.

进入后, 还要修改/etc/pam.d/common-auth, 绕过pam验证, 否则SSH验证不过去.
然后, 修改root密码, 启动ssh, 并且生成key, 设置为用key登录, 就可以顺利地ssh进去了.

目前只折腾到了这里, 其中还是有不少坑的. 等稍后再研究如何与本地LLM对话. 成功后再给大家汇报详细过程.

[kos or]

有想過未來弄一個來玩玩 接上自己的Agent 很方便
樓上一個 樓下一個 直接語音控制

YT這裡有一個方案 不過我還沒試過

Youtube Video

[Tony Wang]

谢谢, 看起来不错, 我回头试一下.

不过我的型号和它支持的不太一样, 有可能变砖

另外, 也可以用树莓派之类的自己做智能音箱, 不过高质量的麦克风阵列自己可能做不好.

[kos or]

前陣子看到 小米智能音箱Pro超级小爱同学2025的廣告
能控制家裡的設備 感覺很有趣
大概明年會買兩個來試試 反正只要一說話
Agent 就能幫我們處理事情了 太科幻電影鋼鐵人了 哈哈

[kos or]

@Tony-Wang said:

高质量的麦克风阵列自己可能做不好

麦克风阵列 我大概買現成的 還有攝像頭之類的硬體設備

攝像頭的影片大概是用小模型vison LLM去處理 這個就要佔用一張或半張顯卡VRAM了

[Tony Wang]

@kos-or

实时用摄像头分析画面的情景应该不多. 可以分层处理.

大部分时候只是监测画面是否有所改变. 如果有改变再截图, 分析是什么. 如果是可疑的状态, 再进一步分析, 最后决定是否开启实时的追踪和分析.

费用应该还是能接受的, 无论是本地还是云端.

[imbiplaza ASUS]

我有一个构思就是店小2.。。之前我做的是小厂长，监督每一个cnc的出品。。。

[neo]

用手机作为前端也是一个可行的方案

[Tony Wang]

@neo 说:

用手机作为前端也是一个可行的方案

前端需要高质量的麦克风阵列和较大功率的扬声器. 手机这两点都不太行.

[coolstar]

膜拜一下，能动手搞硬件的都感觉很厉害！

[kos or]

@Tony-Wang said:

实时用摄像头分析画面的情景应该不多. 可以分层处理.

我希望能做到Agent 見到我出現在鏡頭中的畫面 接下來能主動跟我打招呼聊天
例如我跟它在一樓聊天, 我邊走邊聊, 接著走到二樓接著聊,

或者 我移動到二樓, 它主動跟我聊天 問我有什麼任務需要它去做的或者跟我匯報今天它的任務成果

就是Ironman Jarvis 的樣子 (按照這個場景 看來要準備個幾個螢幕了)

[Tony Wang]

又折腾了几天, 终于联通了小爱音箱和我本地大模型的连续对话.

使用的是: GitHub - coderzc/open-xiaoai-bridge: 小爱音箱与外部 AI 服务（OpenClaw、小智 AI 等）的桥接器 · GitHub

• 它并不支持我的S12这个型号, 所以在AI的帮助下, 做了个钩子, 把小爱的语音直接送给它的server端.
• 本地用qwen 35BA3B, 小爱自己的TTS, 速度还算流畅, 对话体验还不错.
• 试了一下用qwen tts 接管小爱的TTS, 语音效果好, 但是延迟太大. 最后放弃. 以后再研究研究流式播放吧.
• 一路上踩了无数坑, 累死了. 先告一段落. 等有精力了再折腾折腾.

[xiang xu]

这东西好玩，可以当成家里的百科全书了，有详细的教程不

[Tony Wang]

嗯, 稍后我整理一下, 不过小爱的型号种类很多. 从需要 拆机, 刷机的, 到不许需要拆, 刷的都有. 我是早期的 MDZ-25-DA 型号, 内部型号S12 .

[imbiplaza ASUS]

想要玩一玩。。。。。

[williamlouis]

油管有人出了成品。我去找找