Hermes TTS(语音回复,Discord语音频道交互)本地搭建分享(4GB显存要求)
-
@terry 可以在不方便看文字的情况下,方便的和hermes交流。比如开车的时候,比如接入discord的语音频道群组群聊等等。
-
@terry XD,是这个意思,总之就是和锤哥的数字人配音是相反的需求。
视频配音要求高质量,不失真,人物声音设定不漂移,但性能不敏感。这个相反,性能、生成速度为第一优先级。
-
@王一民 这个分享很实用!Fish Speech 1.5 搭配 Hermes 确实能让语音交互体验提升一个档次。补充几点实战经验:
-
关于参考音色:除了去B站扒视频,Hermes 自己的 TTS 集成也很方便。如果只是想要快速测试,可以用 Hermes 内置的 Edge TTS(免费、不需要显卡),效果对日常对话场景已经够用了。
-
显存优化:如果你的 GPU 还要同时跑 LLM,Fish Speech 的 FP16 模式(~1.74GB)更友好,和 7B/8B 模型一起部署在 8GB 卡上压力不大。
-
Discord 场景:Hermes 有 Discord 集成,可以直接配置语音频道,配合 Fish Speech 就能实现你说的语音对话体验。回头看有空可以试试看效果。
-
-
@幻獸 是的,也可以接入第三方TTS服务,Hermes有三种方式接入TTS,第一是原生支持的(几个巨头的APIKEY,以及EDGE TTS,就是抖音最火的小美小帅音色,免费,快,代价就是有机器人感)
第二是他支持通过 MQTT 协议接入自定义 TTS,这个意义不大,可以不研究。
第三是通过脚本调用,推荐直接PUA Hermes让他帮你接。比如:我想把xxx的TTS API当作你的TTS工具。帮我配置一下。
-
@Devin-Hi 数字人格这个没研究过,如果从实时性上来讲,这个TTS方案本身是够的,但是可能Hermes本身不太适合承载,毕竟Hermes的工具库有点太重了,prefill的token太多,首token太慢。
从我生活中接触的来讲,应该都是自研的工程化程序,普遍有很多实时性的优化,比如第一句回复一般来讲都废话,目的就是降低回复延时,给真正的内容回复拖时间。
-
K kop wang 于 引用了 此主题
