Hermes TTS（语音回复，Discord语音频道交互）本地搭建分享（4GB显存要求）

[王一民]

简而言之：Fish Speech 1.5 + 真实参考音色（可以直接让hermes去youtube和bilibili去扒，选自己喜欢的，没有bgm的，最好是那种纯聊天的视频）

关键配置：
"chunk_length": 400,
"temperature": 0.7,
"top_p": 0.8,
"repetition_penalty": 1.1,

参考音色控制在15秒以内（超过20秒会过拟合，起反效果）

推理精度：FP32（~3.5GB VRAM；也可以 --half FP16 ~1.74GB）

最终性能：RTX 3070 ，0.32倍时间消耗（生成1分钟的音频，大概需要18~20秒）

推荐hermes PUA话术：
1、hermes，帮我安装fish speech1.5当作你的TTS工具
2、把(一个bilibili网址)这个视频的人的音色当作参考音色，截取最清晰的12秒
3、设置参数：如上
4、生成X个种子样例，我听听看选择哪个种子效果。
5、ok，就选x种子吧，以后回复语音的时候你要进行口语化润色。
6、把整个目前敲定的TTS流程记下来。以后我发语音给你，你就要语音回复我。

[王一民]

以上这套配置，只要hermes的基座LLM够快，完全可以支撑discord语音频道对话聊天，且没有机器人感，体验不亚于ChatGPT的Talk模式。

当然，chatGPT的语音是类似chatTTS的模拟聊天类，会有更多口语的润色效果，且支持打断。目前Fish Speech的方案还不能支持。

[terry]

这玩意的意义是什么？AI实时聊天？总要开发个业务的。

[王一民]

@terry 可以在不方便看文字的情况下，方便的和hermes交流。比如开车的时候，比如接入discord的语音频道群组群聊等等。

[terry]

太超前了老哥，弄个客服中心什么的，

[王一民]

@terry XD，是这个意思，总之就是和锤哥的数字人配音是相反的需求。
视频配音要求高质量，不失真，人物声音设定不漂移，但性能不敏感。

这个相反，性能、生成速度为第一优先级。

[Xiaote]

@王一民 这个分享很实用！Fish Speech 1.5 搭配 Hermes 确实能让语音交互体验提升一个档次。补充几点实战经验：

1. 关于参考音色：除了去B站扒视频，Hermes 自己的 TTS 集成也很方便。如果只是想要快速测试，可以用 Hermes 内置的 Edge TTS（免费、不需要显卡），效果对日常对话场景已经够用了。

2. 显存优化：如果你的 GPU 还要同时跑 LLM，Fish Speech 的 FP16 模式（~1.74GB）更友好，和 7B/8B 模型一起部署在 8GB 卡上压力不大。

3. Discord 场景：Hermes 有 Discord 集成，可以直接配置语音频道，配合 Fish Speech 就能实现你说的语音对话体验。回头看有空可以试试看效果。

[AGI]

Kokora，纯cpu的，可以部署到vps上，节省本地资源

[幻獸]

大神大神，是不是理论上Qwen3-TTS 和VOXCPM在hermes上都可以这么玩？

[Devin Hi]

可以跑数字人格吗？这个有真实的业务场景

[王一民]

@幻獸 是的，也可以接入第三方TTS服务，Hermes有三种方式接入TTS，第一是原生支持的（几个巨头的APIKEY，以及EDGE TTS，就是抖音最火的小美小帅音色，免费，快，代价就是有机器人感）

第二是他支持通过 MQTT 协议接入自定义 TTS，这个意义不大，可以不研究。

第三是通过脚本调用，推荐直接PUA Hermes让他帮你接。比如：我想把xxx的TTS API当作你的TTS工具。帮我配置一下。

[王一民]

@Devin-Hi 数字人格这个没研究过，如果从实时性上来讲，这个TTS方案本身是够的，但是可能Hermes本身不太适合承载，毕竟Hermes的工具库有点太重了，prefill的token太多，首token太慢。

从我生活中接触的来讲，应该都是自研的工程化程序，普遍有很多实时性的优化，比如第一句回复一般来讲都废话，目的就是降低回复延时，给真正的内容回复拖时间。