AI文本转语音工具可以说真是太多了,其中我感觉用的最好的是微软的文本转语音,并且市面上大部分的文本转语音工具都是调用的微软的接口,像一些影视解说或是其它非真人出镜的解说视频,声音你一听就听过的那些很熟悉的声音都是微软的,但是现在有了一个更牛的文本转语音工具,那就是Bark。Bark 是由Suno创建的基于转换器的文本到音频模型。Bark 可以生成高度逼真的多语言语音以及其他音频 – 包括音乐、背景噪音和简单的音效。该模型还可以产生非语言交流,如大笑、叹息和哭泣。bark是支持多语言的,但是目前做的最好的还是英语,其它语言还在优化改善中。这是一个开源项目,你可以在github中查看项目具体信息,地址:https://github.com/suno-ai/bark
今天讲一下3种体验Bark文本转语音的方法
1、本地电脑安装
2、google colab云端部署
3、hugging face及replicate在线体验
1、本地安装
这个工具没有软件客户端,如果想使用的话需要自己配置环境,首先安装Python环境,打开Python网站下载页面:https://www.python.org/downloads/windows/ 下载稳定版3.10.11,如果是其它操作系统请对应选择。
下载到电脑上之后双击运行安装,注意在安装时一定要勾选add python.exe to path,如果不会自定义安装全都默认即可
然后按键盘win+R键打开运行,输入cmd,点击确定,打开命令提示符界面。复制下面命令,然后鼠标右键单击命令提示符界面自动粘贴代码,然后回车运行,安装bark程序
pip install git+https://github.com/suno-ai/bark.git
安装需要下载很多文件,时间长短取决于你的网速,等到出现下面的提示界面就表示bark安装完成了。
vs code下载完成并打开它,点击左上角【文件】-【新建文本文件】,然后复制输入如下命令,然后保存为bark.py
from bark import SAMPLE_RATE, generate_audio, preload_modelsfrom scipy.io.wavfile import write as write_wavfrom IPython.display import Audio# download and load all modelspreload_models()# generate audio from texttext_prompt = """
Hello, my name is Suno. And, uh — and I like pizza. [laughs]
But I also have other interests such as playing tic tac toe.
"""audio_array = generate_audio(text_prompt)# save audio to diskwrite_wav("bark_generation.wav", SAMPLE_RATE, audio_array)# play text in notebookAudio(audio_array, rate=SAMPLE_RATE)
系统提示有错误,有个包没有导入,在cmd窗口中输入如下命令,回车安装ipython就可以了。
pip install -U IPython
text_prompt内容就是需要转换成音频的文本,音频生成完成后会保存在bark.py这个文件的相同文件夹内,如需生成其它文本,直接修改text_prompt 内容,如果需要更换发音人如v2/zh_speaker_7,可以在generate_audio里设置,如下面代码所示:
# generate audio from texttext_prompt = """
你知道今天星期几吗?
"""audio_array = generate_audio(text_prompt, history_prompt="v2/zh_speaker_7")# save audio to diskwrite_wav("bark_generation2.wav", SAMPLE_RATE, audio_array)# play text in notebookAudio(audio_array, rate=SAMPLE_RATE)
在提示词前后加上音乐符号,音频将以歌唱的形式生成。还可以生成音效和非语音声音,如下显示
[laughter]
[laughs]
[sighs]
[music]
[gasps]
[clears throat]
— or … for hesitations
for song lyrics
CAPITALIZATION for emphasis of a word
[MAN] and [WOMAN] to bias Bark toward male and female speakers, respectively
这个用的是CPU,没有使用显存。
2、google colab云端部署
首先打开谷歌Colaboratory,网站地址:https://colab.research.google.com/,如果没登录的话,点击页面右上角登录按钮登录google账号,然后点击页面左上角【文件】-【新建笔记本】
链接到谷歌云盘后创建的文件会自动保存到云盘,关闭colab也不会丢失了。然后在colab内右侧输入bark安装命令,然后点击左侧的三角号运行命令。
pip install git+https://github.com/suno-ai/bark.git
这个过程42秒,安装完成后左侧三角号不再转圈了,下面显示successfully installed…..这个就代表安装成功了。
from bark import SAMPLE_RATE, generate_audio, preload_modelsfrom scipy.io.wavfile import write as write_wavfrom IPython.display import Audio# download and load all modelspreload_models()# generate audio from texttext_prompt = """
Hello, my name is Suno. And, uh — and I like pizza. [laughs]
But I also have other interests such as playing tic tac toe.
"""audio_array = generate_audio(text_prompt)# save audio to diskwrite_wav("/content/drive/MyDrive/Colab Notebooks/bark_generation.wav", SAMPLE_RATE, audio_array)# play text in notebookAudio(audio_array, rate=SAMPLE_RATE)
然后运行代码,系统就会开始将:Hello, my name is Suno. And, uh — and I like pizza. [laughs]But I also have other interests such as playing tic tac toe.这段文本转成语音,这个过程耗时时间会长一点,
语音生成完成后可以直接点击播放按钮播放音频,点击三个点可以将音频下载到本地。
路径设置为谷歌云盘路径/content/drive/MyDrive/Colab Notebooks,生成的文件会自动保存到云盘,
再次运行命令生成语音的话只输入下面这部分指令即可:
# generate audio from texttext_prompt = """
这里输入待转换成语音的文本内容。
"""audio_array = generate_audio(text_prompt,history_prompt="v2/zh_speaker_7")# save audio to diskwrite_wav("bark_generation.wav", SAMPLE_RATE, audio_array)# play text in notebookAudio(audio_array, rate=SAMPLE_RATE)
3、hugging face及replicate在线体验
https://huggingface.co/spaces/suno/bark
replicate在线体验链接:https://replicate.com/suno-ai/bark
这个网站需要先登录才能使用,用github账号登录,设置完成后点击下方的【submit】按钮即可生成,感觉这个网站生成速度比较快,但是是收费的。
如果电脑配置比较高的话可以在自己电脑上操作,其次的话荐用Google colab部署,速度适中,也无需付费。以上演示为15秒短音频生成教程。下期会做一期长音频生成教程。
bark上手略微有些难度,不像其它文本转语音那么简单,但是bark生成语音的功能确实很强大,目前英语发音比较好,其它语言发音会带一些口音,比如就像老外说中文那样的发音,不过程序也在逐步完善过程中,期待以后会更强大。
领取专属 10元无门槛券
私享最新 技术干货