民谣女神唱流行，基于AI人工智能so-vits库训练自己的音色模型（叶蓓/Python3.10）

流行天后孙燕姿的音色固然是极好的，但是目前全网都是她的声音复刻，听多了难免会有些审美疲劳，在网络上检索了一圈，还没有发现民谣歌手的音色模型，人就是这样，得不到的永远在骚动，本次我们自己构建训练集，来打造自己的音色模型，让民谣女神来唱流行歌曲，要多带劲就有多带劲。

构建训练集

训练集是指用于训练神经网络模型的数据集合。这个数据集通常由大量的输入和对应的输出组成，神经网络模型通过学习输入和输出之间的关系来进行训练，并且在训练过程中调整模型的参数以最小化误差。

通俗地讲，如果我们想要训练民谣歌手叶蓓的音色模型，就需要将她的歌曲作为输入参数，也就是训练集，训练集的作用是为模型提供学习的材料，使其能够从输入数据中学习到正确的输出。通过反复迭代训练集，神经网络模型可以不断地优化自身，提高其对输入数据的预测能力。

没错，so-vits库底层就是神经网络架构，而训练音色模型库，本质上解决的是预测问题，关于神经网络架构，请移步：人工智能机器学习底层原理剖析,人造神经元,您一定能看懂,通俗解释把AI“黑话”转化为“白话文”，这里不再赘述。

选择训练集样本时，最好选择具有歌手音色“特质”的歌曲，为什么全网都是孙燕姿？只是因为她的音色辨识度太高，模型可以从输入数据中更容易地学习到正确的输出。

此外，训练集数据贵精不贵多，特征权重比较高的清晰样本，在训练效果要比低质量样本要好，比如歌手“翻唱”的一些歌曲，或者使用非常规唱法的歌曲，这类样本虽然也具备一些歌手的音色特征，但对于模型训练来说，实际上起到是反作用，这是需要注意的事情。

这里选择叶蓓早期专辑《幸福深处》中的六首歌：

通常来说，训练集的数量越多，模型的性能就越好，但是在实践中，需要根据实际情况进行权衡和选择。

在深度学习中，通常需要大量的数据才能训练出高性能的模型。例如，在计算机视觉任务中，需要大量的图像数据来训练卷积神经网络模型。但是，在其他一些任务中，如语音识别和自然语言处理，相对较少的数据量也可以训练出高性能的模型。

通常，需要确保训练集中包含充足、多样的样本，以覆盖所有可能的输入情况。此外，训练集中需要包含足够的正样本和负样本，以保证模型的分类性能。

除了数量之外，训练集的质量也非常重要。需要确保训练集中不存在偏差和噪声，同时需要进行数据清洗和数据增强等预处理操作，以提高训练集的质量和多样性。

总的来说，训练集的数量要求需要根据具体问题进行调整，需要考虑问题的复杂性、数据的多样性、模型的复杂度和训练算法的效率等因素。在实践中，需要进行实验和验证，找到最适合问题的训练集规模。

综上，考虑到笔者的电脑配置以及训练时间成本，训练集相对较小，其他朋友可以根据自己的情况丰俭由己地进行调整。

训练集数据清洗

准备好训练集之后，我们需要对数据进行“清洗”，也就是去掉歌曲中的伴奏、停顿以及混音部分，只留下“清唱”的版本。

伴奏和人声分离推荐使用spleeter库：

接着运行命令，对训练集歌曲进行分离操作：

这里-o代表输出目录，-p代表选择的分离模型，最后是要分离的素材。

首次运行会比较慢，因为spleeter会下载预训练模型，体积在1.73g左右，运行完毕后，会在输出目录生成分离后的音轨文件：

关于spleeter更多的操作，请移步至：人工智能AI库Spleeter免费人声和背景音乐分离实践(Python3.10), 这里不再赘述。

分离后的数据样本还需要二次处理，因为分离后的音频本身还会带有一些轻微的背景音和混音，这里推荐使用noisereduce库：

随后进行降噪处理：

先通过soundfile库将歌曲文件读出来，然后获取噪声样本并对其使用降噪算法，最后写入新文件。

至此，数据清洗工作基本完成。

训练集数据切分

深度学习过程中，计算机会把训练数据读入显卡的缓存中，但如果训练集数据过大，会导致内存溢出问题，也就是常说的“爆显存”现象。

将数据集分成多个部分，每次只载入一个部分的数据进行训练。这种方法可以减少内存使用，同时也可以实现并行处理，提高训练效率。

这里可以使用github.com/openvpi/audio-slicer库：

随后编写代码：

该脚本可以将所有降噪后的清唱样本切成小样本，方便训练，电脑配置比较低的朋友，可以考虑将min_interval和max_sil_kept调的更高一些，这些会切的更碎，所谓“细细切做臊子”。

最后，六首歌被切成了140个小样本：

至此，数据切分顺利完成。

开始训练

万事俱备，只差训练，首先配置so-vits-svc环境，请移步：AI天后,在线飙歌,人工智能AI孙燕姿模型应用实践，复刻《遥远的歌》，原唱晴子(Python3.10)，囿于篇幅，这里不再赘述。

随后将切分后的数据集放在项目根目录的dataset_raw/yebei文件夹，如果没有yebei文件夹，请进行创建。

随后构建训练配置文件：

这里epochs是指对整个训练集进行一次完整的训练。具体来说，每个epoch包含多个训练步骤，每个训练步骤会从训练集中抽取一个小批量的数据进行训练，并更新模型的参数。

需要调整的参数是batch_size，如果显存不够，需要往下调整，否则也会“爆显存”，如果训练过程中出现了下面这个错误：

那么就说明显存已经不够用了。

最后，运行命令开始训练：

终端会返回训练过程：

这里每一次Epoch系统都会返回损失函数等相关信息，训练好的模型存放在项目的logs/44k目录下，模型的后缀名是.pth。

结语

一般情况下，训练损失率低于50%，并且损失函数在训练集和验证集上都趋于稳定，则可以认为模型已经收敛。收敛的模型就可以为我们所用了，如何使用训练好的模型，请移步：AI天后,在线飙歌,人工智能AI孙燕姿模型应用实践，复刻《遥远的歌》，原唱晴子(Python3.10)。

最后，奉上民谣女神叶蓓的总训练6400次的音色模型，与众乡亲同飨：