开发了个能模拟唱歌的 AI 模型，用罗翔的音色唱了《水星记》

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 620 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近开发了几个小 AI 模型，合起来参数不到 4000W 。组合起来之后，可以实现用任意人说话的音色合成任意一首歌

这是用罗翔的音色合成的《水星记》，听听看像不像，哈哈。

https://soundcloud.com/saceqirepner/aisinging-voice-synthesis?si=d17b0e65538d4ecd9e196b29c105257c&utm_source=clipboard&utm_medium=text&utm_campaign=social_sharing

水星记

罗翔

音色

合成

17 条回复 • 2023-04-19 13:32:28 +08:00

SAINTING4

2023-04-17 23:06:40 +08:00

可以考虑去鬼畜区当 up 哈哈哈哈

netpi

2023-04-17 23:20:11 +08:00

@SAINTING4 自己做内容太累了，我倒是考虑做个工具给 up 用

Mac

2023-04-18 00:25:45 +08:00

最近 B 站 AI 孙燕姿很火

netpi

2023-04-18 00:30:26 +08:00

@Mac 我也看到了用本身就是歌手的音色合成比较简单，用普通人说话的声音合会困难很多

yunpengtai

2023-04-18 08:35:19 +08:00 via Android

技术方面楼主方便分享一些嘛

fenglingyu

2023-04-18 09:00:42 +08:00

唱歌这个音频的机械音蛮重的，b 站有个搞相声的，拿已经故去的相声大师的音频训练了几个模型，然后用来表演没说过的相声。几乎没有机械音

Drumming

2023-04-18 11:23:59 +08:00

...换个角度，罗老师真实唱歌可能就是这样

netpi

2023-04-18 11:49:58 +08:00 via iPhone

@fenglingyu 这是模型直出效果，一些背景噪音可以用后期处理掉，我留着是想展现下模型最真实的效果

netpi

2023-04-18 11:50:26 +08:00 via iPhone

@yunpengtai 在准备论文中，快要可以分享了

netpi

2023-04-18 11:51:49 +08:00 via iPhone

@Drumming 我觉得也是！

Bssn

2023-04-18 12:19:18 +08:00

声音识别技术还靠谱吗？🧐

netpi

2023-04-18 12:26:10 +08:00

@Bssn 视频都不靠谱了

Bssn

2023-04-18 12:31:11 +08:00

@netpi 那人脸呢？

netpi

2023-04-18 12:37:45 +08:00

@Bssn 需要实时性的可能还相对安全一点，实时 fake 的门槛还是比较高

podel

2023-04-18 15:34:34 +08:00

收藏。楼主分享了记得再发个贴提醒一下。

fromdark

2023-04-18 20:36:19 +08:00

@netpi 这种用自己声音合成的 ai 声音的产品已经有几个了，效果感觉挺不错的，我看喜马拉雅上有声播试过，真的以假乱真

netpi

2023-04-19 13:32:28 +08:00 via iPhone

@fromdark 音色也是身份 id 的一部分了

开发了个能模拟唱歌的 AI 模型， 用罗翔的音色唱了《水星记》

开发了个能模拟唱歌的 AI 模型，用罗翔的音色唱了《水星记》