5G的到来,加速了移动互联网视频节目的发展,在网络视频领域如何做出突破,降低成本将是内容生产者面对的最大挑战。现在成熟的AI技术可以做些什么?
AI代替人工完成智能配音
在短视频生产过程中,制作者为了增加视频的感染力或是现场感,会为视频增加背景音乐。在大量音频中挑选合适的背景音乐是个既费时间又耗精力的工作。如果在过去内容生产者只能祈祷下一段听到的就是最合适的音乐。可是在AI技术高速发展的今天,机器将帮助你完成这项工作
AI如何完成背景配音
这项工作是基于最近发展起来的跨模态信息检索技术,比如图像到音频,文本到图像,使用深度学习。在给定视频输入的情况下,该系统通过两种模型进行训练: 一种是已经建立好的、预先训练过的图像识别模型,处理帧,另一种卷积神经网络将音频读取为声谱图图像,并不断进化,以使其输出的分布尽可能接近第一种声谱图像。一旦训练,这两个网络允许我们检索最匹配的声音文件的场景,从我们的大量环境声音数据集。
人工智能产生的音景有时会让我们大吃一惊,因为它满足了我们的期望,但偶尔也会忽略文化和地理背景(比如格陵兰冰原上的波浪声)。这些差异和错误使我们思考想象力是如何运作的,以及我们周围的声音环境是多么肥沃。通过外化我们的联觉思维,我们试图阐明想象力的力量,我们都分享。
AI合成视频背景音案例
该视频背景音由AI自动合成。
别忘了点个“在看”
领取专属 10元无门槛券
私享最新 技术干货