试图通过小爱音箱和本地LLM通话 (未完成)

[kos or]

前陣子看到 小米智能音箱Pro超级小爱同学2025的廣告
能控制家裡的設備 感覺很有趣
大概明年會買兩個來試試 反正只要一說話
Agent 就能幫我們處理事情了 太科幻電影鋼鐵人了 哈哈

[kos or]

@Tony-Wang said:

高质量的麦克风阵列自己可能做不好

麦克风阵列 我大概買現成的 還有攝像頭之類的硬體設備

攝像頭的影片大概是用小模型vison LLM去處理 這個就要佔用一張或半張顯卡VRAM了

[Tony Wang]

@kos-or

实时用摄像头分析画面的情景应该不多. 可以分层处理.

大部分时候只是监测画面是否有所改变. 如果有改变再截图, 分析是什么. 如果是可疑的状态, 再进一步分析, 最后决定是否开启实时的追踪和分析.

费用应该还是能接受的, 无论是本地还是云端.

[imbiplaza ASUS]

我有一个构思就是店小2.。。之前我做的是小厂长，监督每一个cnc的出品。。。

[neo]

用手机作为前端也是一个可行的方案

[Tony Wang]

@neo 说:

用手机作为前端也是一个可行的方案

前端需要高质量的麦克风阵列和较大功率的扬声器. 手机这两点都不太行.

[coolstar]

膜拜一下，能动手搞硬件的都感觉很厉害！

[kos or]

@Tony-Wang said:

实时用摄像头分析画面的情景应该不多. 可以分层处理.

我希望能做到Agent 見到我出現在鏡頭中的畫面 接下來能主動跟我打招呼聊天
例如我跟它在一樓聊天, 我邊走邊聊, 接著走到二樓接著聊,

或者 我移動到二樓, 它主動跟我聊天 問我有什麼任務需要它去做的或者跟我匯報今天它的任務成果

就是Ironman Jarvis 的樣子 (按照這個場景 看來要準備個幾個螢幕了)

[Tony Wang]

又折腾了几天, 终于联通了小爱音箱和我本地大模型的连续对话.

使用的是: GitHub - coderzc/open-xiaoai-bridge: 小爱音箱与外部 AI 服务（OpenClaw、小智 AI 等）的桥接器 · GitHub

• 它并不支持我的S12这个型号, 所以在AI的帮助下, 做了个钩子, 把小爱的语音直接送给它的server端.
• 本地用qwen 35BA3B, 小爱自己的TTS, 速度还算流畅, 对话体验还不错.
• 试了一下用qwen tts 接管小爱的TTS, 语音效果好, 但是延迟太大. 最后放弃. 以后再研究研究流式播放吧.
• 一路上踩了无数坑, 累死了. 先告一段落. 等有精力了再折腾折腾.

[xiang xu]

这东西好玩，可以当成家里的百科全书了，有详细的教程不

[Tony Wang]

嗯, 稍后我整理一下, 不过小爱的型号种类很多. 从需要 拆机, 刷机的, 到不许需要拆, 刷的都有. 我是早期的 MDZ-25-DA 型号, 内部型号S12 .

[imbiplaza ASUS]

想要玩一玩。。。。。

[williamlouis]

油管有人出了成品。我去找找