引言:
嘿,昨天后台有个小伙伴留言问:GPT-SOVITS能唱歌吗?
我得说,它是个TTS,目前它还在学习如何优雅地发音,唱歌这事儿,它还在练习中。不过,别失望,AI唱歌这事儿,虽然已经不是什么新鲜技术,后续的版本一定会有的。
回到AI唱歌,这就得交代一下RVC和TTS的区别了。RVC也就是歌声转换技术,它能让你的声音穿上别人的“声音外套”,就好像是一个音乐播放器,RVC就像是一个声音化妆师,它可以改变你的声音,仿佛你也能成为Katy Perry或者周杰伦。而TTS,文本转语音技术,是依赖微调模型的理解生成合理的语言,就好像一个朗读者,它通过微调模型深度学习。把文字读出来,就像有个私人朗读者随时为你服务。
虽然AI唱歌的热潮可能已经过了顶峰,但它仍然是很多声音UP的掌中利器。那么接下来我来分享一种最新的极其简单的方法:Replay四步实现AI唱歌
它能帮所有人分分钟实现AI唱歌,让我们继续往下看吧...
Replay如何安装:
资源自动获取,公众号回复Replay
1.运行“Windows_Replay-3.3.0-installer.exe”
2.在地址栏输入“%AppData%\Replay”,将Windows版文件.zip文件解压覆盖到文件夹中
3.运行Replay.exe,点击“Not now”不更新,继续使用。
补充:软件版本和运行文件是相关联的,所以请一定要使用网盘里的安装包,并且不要更新!不要更新!不要更新!!!
Replay如何使用:
1.运行软件,选择不更新。(注意网络不行,用我提供的安装程序)
2.随便选择一首歌曲,甚至你都不需要做任何声音处理。直接拖拽到下面框框里。
3.选择自带的已经下载好的模型,点击“CREATE SONG”等待歌曲生成。
4.点击左边的库,查看生成的音频效果。
下面红框里面是,分离开的各个音轨下载。
此时我们已经完成了AI唱歌部分的操作,已经可以随意地替换各种声音演唱。
补充:
我们还可以用自己训练的模型,只需将自己的模型拖拽到此处,或者点击添加。
多模型混合:
下面的高级选项:
后台可能又会有人问,Replay里面下载的模型不是很喜欢,怎么换成自己想要的模型。比如原神的角色,电视剧角色,或者本人自己。
那么继续往下看...
训练自己的RVC模型:
训练自己的SCV模型就要用到Retrieval-based-Voice-Conversion-WebUI这个开源项目啦。
这个项目是一个基于VITS(Vocoder-based Interpolation of Time-domain Speech)的简单易用的语音转换(变声器)框架。它的核心算法是通过使用top1检索来替换输入源特征为训练集特征,以此来避免音色泄漏,确保声音转换的自然性和真实性。
这个项目的特点包括:
易用性:提供了一个简单易用的网页界面,用户可以通过这个界面进行实时变声操作。
快速训练:即使在相对较差的显卡上也能快速训练模型。
少量数据训练:推荐至少收集10分钟的低底噪语音数据,就能训练出效果不错的变声模型。
音色调整:可以通过模型融合来改变音色,提供了ckpt-merge功能。
硬件加速:支持A卡和I卡加速,以及AMD的Rocm技术(仅限Linux系统)。
项目还提供了一些额外的功能,比如调用UVR5模型来快速分离人声和伴奏,以及使用最新的人声 音色 提取算法RMVPE来解决哑音问题。
项目地址:
https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI?tab=readme-ov-file
RVC如何安装:
“go-web.bat”是我们需要的训练器
“go-realtime-gui.bat”是变声器
(变声器加载训练的模型,就可以使用。)
RVC如何训练:
处理后的音频会自动生成在整合包opt路径下,只留人声就行。
2.来到“训练”页签,填写名称路径,配置参数。
根据机器配置适当降低“batch_size”点击“一键训练”,静等完成。
3.完成后将log下的added_xxx.index和assets\exp_name.pth放到一个文件夹中。
4.接下来我们正常在Replay添加模型,AI演唱歌曲就好啦。
总结:
Replay软件以其直观的操作界面和强大的功能,让AI唱歌变得简单而有趣。用户可以轻松地将任何歌曲导入软件,选择预设的模型,就能立即享受到AI翻唱的乐趣。这种即时的体验不仅让音乐爱好者能够快速创作出个性化的歌曲,也为那些想要探索声音变换可能性的用户提供了一个便捷的入口。
而Retrieval-based-Voice-Conversion-WebUI项目则为那些希望深入探索声音变换技术的人提供了一个平台。通过这个项目,用户可以训练自己的RVC模型,无论是模仿偶像的声音,还是创造全新的声音风格,都能在这个项目的帮助下成为可能。它的易用性、快速训练能力和对少量数据的适应性,使得即使是技术新手也能参与到声音模型的训练中来。
这两个工具的结合,不仅展示了AI在声音处理领域的强大潜力,也为未来的音乐创作和声音艺术开辟了新的道路。随着技术的不断发展,AI唱歌和变声技术将会更加简单成熟,为我们的生活带来更多的惊喜和乐趣。
完over。
领取专属 10元无门槛券
私享最新 技术干货