V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
netpi
V2EX  ›  分享创造

开发了个能模拟唱歌的 AI 模型, 用罗翔的音色唱了《水星记》

  •  
  •   netpi ·
    netpi · 2023-04-17 21:12:27 +08:00 · 2273 次点击
    这是一个创建于 584 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近开发了几个小 AI 模型,合起来参数不到 4000W 。 组合起来之后,可以实现用任意人说话的音色合成任意一首歌

    这是用罗翔的音色合成的《水星记》,听听看像不像,哈哈。

    https://soundcloud.com/saceqirepner/aisinging-voice-synthesis?si=d17b0e65538d4ecd9e196b29c105257c&utm_source=clipboard&utm_medium=text&utm_campaign=social_sharing

    17 条回复    2023-04-19 13:32:28 +08:00
    SAINTING4
        1
    SAINTING4  
       2023-04-17 23:06:40 +08:00
    可以考虑去鬼畜区当 up 哈哈哈哈
    netpi
        2
    netpi  
    OP
       2023-04-17 23:20:11 +08:00
    @SAINTING4 自己做内容太累了,我倒是考虑做个工具给 up 用
    Mac
        3
    Mac  
       2023-04-18 00:25:45 +08:00
    最近 B 站 AI 孙燕姿很火
    netpi
        4
    netpi  
    OP
       2023-04-18 00:30:26 +08:00
    @Mac 我也看到了 用本身就是歌手的音色合成比较简单,用普通人说话的声音合会困难很多
    yunpengtai
        5
    yunpengtai  
       2023-04-18 08:35:19 +08:00 via Android
    技术方面楼主方便分享一些嘛
    fenglingyu
        6
    fenglingyu  
       2023-04-18 09:00:42 +08:00
    唱歌这个音频的机械音蛮重的,b 站有个搞相声的,拿已经故去的相声大师的音频训练了几个模型,然后用来表演没说过的相声。几乎没有机械音
    Drumming
        7
    Drumming  
       2023-04-18 11:23:59 +08:00
    ...换个角度,罗老师真实唱歌可能就是这样
    netpi
        8
    netpi  
    OP
       2023-04-18 11:49:58 +08:00 via iPhone
    @fenglingyu 这是模型直出效果,一些背景噪音可以用后期处理掉,我留着是想展现下模型最真实的效果
    netpi
        9
    netpi  
    OP
       2023-04-18 11:50:26 +08:00 via iPhone
    @yunpengtai 在准备论文中,快要可以分享了
    netpi
        10
    netpi  
    OP
       2023-04-18 11:51:49 +08:00 via iPhone
    @Drumming 我觉得也是!
    Bssn
        11
    Bssn  
       2023-04-18 12:19:18 +08:00
    声音识别技术还靠谱吗?🧐
    netpi
        12
    netpi  
    OP
       2023-04-18 12:26:10 +08:00
    @Bssn 视频都不靠谱了
    Bssn
        13
    Bssn  
       2023-04-18 12:31:11 +08:00
    @netpi 那人脸呢?
    netpi
        14
    netpi  
    OP
       2023-04-18 12:37:45 +08:00
    @Bssn 需要实时性的可能还相对安全一点,实时 fake 的门槛还是比较高
    podel
        15
    podel  
       2023-04-18 15:34:34 +08:00
    收藏。 楼主分享了记得再发个贴提醒一下。
    fromdark
        16
    fromdark  
       2023-04-18 20:36:19 +08:00
    @netpi 这种用自己声音合成的 ai 声音的产品已经有几个了,效果感觉挺不错的,我看喜马拉雅上有声播试过,真的以假乱真
    netpi
        17
    netpi  
    OP
       2023-04-19 13:32:28 +08:00 via iPhone
    @fromdark 音色也是身份 id 的一部分了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3414 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 04:38 · PVG 12:38 · LAX 20:38 · JFK 23:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.