有没有具备感情的 tts？

[shalingye]

如题，想把一些日语文字转换成具有感情的音频，有没有开源的仓库？付费的服务也可以。



背景：小组想把某 galgame 中缺少的语音补全，已经利用 vits 训练好了模型，对话也提取出来了，但发现普通 tts 缺乏感情，导致最终的音频很机械。

[renmu]

自己读，然后用再转换

[DTCPSS]

不要纯靠 TTS
自己充满感情地读一遍后用 Voice Conversion 转成目标说话人的声音

[shalingye]

@DTCPSS
@renmu
太多了，而且人读需要成本

[hymzhek]

可能是相关内容 https://zhuanlan.zhihu.com/p/365232061

[shalingye]

@hymzhek 谢谢，不过这个仓库已经很久没更新了

[fox]

初音未来？

[shalingye]

@fox 非也

[x77]

https://xinlake.dev/#/app-azure-tts

[pochy06]

要不试试 bark ，支持情绪化的一些语音生成
https://github.com/suno-ai/bark

[whatalittleboy]

前两天刚好看到的 https://www.bilibili.com/video/BV1Vg411h7of/

在线 demo https://huggingface.co/spaces/innnky/nene-emotion
情感特征提取 https://github.com/audeering/w2v2-how-to
VITS 情感控制语音合成 https://github.com/innnky/emotional-vits

[shalingye]

@x77 不太符合...

[shalingye]

@spico1026 已测试，感情很不稳定...每次生成很随机

[findex]

同求啊

[strp]

男声的话 iOS 的 British Voice 2 还有 Russian Voice 1 我觉得都挺有感情的。Japanese Voice 1 是男声 Voice 2 是女声。

[id80108900]

现阶段不敢奢求感情，只求『自然』点。

[shalingye]

@id80108900
@findex
@whatalittleboy
已测试 emotion-vits ，其携带感情向量，基本达到预期效果。然而，项目错误太多，经过艰难险阻后最终也没有办法训练出模型，只能曲线救国使用它的面板制作前置 tts 语音，然后借助前置语音用自己的模型在 so-vits 面板上推理出最终的效果。

[id80108900]

@shalingye 我挺相信人工智能的，说不定过些日子，就有突破了。

[shalingye]

进展：已成功开启 emotion-vits 训练，等晚上用面板推理实际文件。

[shalingye]

@strp 不太符合需求，因为不仅仅是需要感情，还有一些情景的考虑，这些变量应该让人来选择。