抡锤者

还可以对话情绪挺饱满，就是节奏有点快

做了大量重构添加了一个 tts-server, 支持流式，无论多长的文本，首音延迟都是 3 秒，chunk 拆分目前是 30 帧， 今天晚些上传到 github

@terry 到时你们可以用独立显卡测试一下速度

正在优化 qwen3-tts.cpp
https://github.com/predict-woo/qwen3-tts.cpp.git

qwen3-tts 的音色和情绪我感觉还不错，适合有声朗读

amd max 395 上做充分优化

@steafler 说:

@Xiaote 多谢，我已使用omnivoice替换voxcpm来生成语音，速度大幅提升，10s音频，800ms内完成，爽到起飞

真有这么夸张？我怎么没你说的那么快

我也玩的不亦乐乎，话说ai max 395的128G统一内存的好处就是没有显存焦虑，新出的模型可以随便玩，无非就是慢点

编程的话还是不建议用本地模型，尤其是对接 claude code 或 open code 这类编程代理工具，prefill 的速度慢的让人无法忍受。即使上 5090 ，prefill 3000+ , 本地编程模型的水平也实在一般，即使是 qwen3.6-27B 的编程水平也只是凑乎能用而已。

在 vae 解码节点前面可以加 清理显存或卸载模型节点，vae 解码挺吃显存的，特别是生成长时间的视频，我的 ai max 395, 使用标准的 ltx2.3 图生视频工作流生成 5s的视频，跑到最后就卡死了。加了“清理显存节点” 后，可以生成 10s, 20s 的视频了

1. easytier 主要是 p2p, 有免费公共节点（只用于发现），如果自己有ip 主机也可以做为一个节点，可以自动中转
2. 节点小宝 支持两个节点组网，p2p 免费，中继免费 每月 5G 够用。节点小宝使用体验非常不错， 127.0.0.1:anyport 他自动映射到 组网ip + 端口

@kindalo

287.38 tok/s 是双卡的测试数据

数据来源 ： https://kyuz0.github.io/amd-r9700-ai-toolboxes/

上面的测试数据，老外没有使用投机解码
如果开投机解码，估计能到 50+ token / s

llama.cpp mtp 确实可以用， 我的 ai max 395 跑 qwen3.6-27b 24T/s

参考这个社区主题

https://www.reddit.com/r/LocalLLaMA/comments/1t5ageq/qwen3627b_with_mtp_grafted_on_unsloth_ud_xl_25x/

mtp 分支还没有合并到主分支，目前还存在的问题

1. 只支持np = 1
2. 暂不支持多模态