百度×科赛 PaddlePaddle AI 大赛开赛啦

2017年12月28日，百度 PaddlePaddle AI 大赛正式开赛了！

在上篇「百度和科赛，想让AI与你更近一些」中曾提到，PaddlePaddle AI 大赛“希望参赛选手使用PaddlePaddle深度学习框架、利用BROAD数据集、利用K-Lab，着手解决一些行业中的真实问题，从而让AI真正应用于行业、服务于行业。”

本次大赛，我们将目光放在这样一个行业——电视综艺。

在电视综艺的拍摄录制过程中，往往会有十几、二十多台摄像机同时拍摄，比方每两台或更多摄像机多机位跟拍一位艺人。而往往一次拍摄的时间较长，所以会产生大量的视频素材，因此通常在后期过程中，剪辑工作非常辛苦且枯燥。

一般这些视频素材会经历两个剪辑过程——先对所有的视频素材进行初剪，去掉明显不可用的镜头，之后再精剪。但不论在哪步，都需要导演和剪辑师们在剪辑的过程中时刻判断哪些是需要留下的、甚至未来会产生良好观众效果的镜头。固然他们会在这方面的判断上很有经验，但当素材的量很大时，或当需要在同一个时刻的几个镜头中作抉择时，如果这时有个声音可以给他们提供一些小小建议的话，那会不会对他们有所帮助呢？

因此我们设想，如果能通过算法，在素材导入的阶段就对素材进行自动标记，标记出那些将来会有一定概率成为观众眼中的“精彩片段”的时间段，那或许不仅可以成为初剪的参考、提高剪辑的效率，而且，往往毕竟每位导演都会结合脚本与自己的考量、经验来决定留下的镜头，因此这些标记出的“潜力精彩片段”或许也能作为导演从观众角度考量的参考之一，这样的话，在后期过程中便预知了“观众反馈”，从而甚至可以保障整个后期的效率与质量。

电视综艺的工作者们如此辛苦，AI是不是可以让他们轻松一些，睡得更充足些呢？

之所以现在这样的AI助力变为了可能，因为百度的BROAD数据集为我们提供了很棒的素材——1500个来自爱奇艺的电视综艺视频，总共约1200个小时，且视频已都直接转换为了视频帧的图片特征序列，但也都提供了观看链接；其中每个视频都被仔细地标注了“精彩片段”的时间戳，标记出了共18000段、约750小时的“精彩片段”——这是全球首创的公开精彩片段标注数据集。[1]

有了这样的数据，前面的设想便成为了一个深度学习问题——通过学习长视频的图像等信息（即视频帧的图片特征序列），检测其中精彩片段的位置，从而训练检测模型，从而可实现：给定任意一个新的长视频（如视频素材），输出其中精彩片段的时间戳。

但是，若要真正实现直接在素材中标记出“潜力精彩片段”的话，还得一步步来。我们这次先从“在已成片的综艺视频中标记出精彩片段”开始吧。即，我们希望选手们通过训练学习视频帧的图片特征序列得到的模型，对于给定任意一个新的长视频（还未被标注过精彩片段的电视综艺视频），大约时长30分钟到2小时，输出其中精彩片段的时间戳，其中精彩片段指精准切分出一段节目或情节的短视频，长约1到5分钟。

但对于深度学习问题来说，虽然百度的那篇研究报告中提到，随着训练数据的增多，深度学习模型的准确率会有可预期的提高。[2] 但数据量的越来越多往往会导致需要越来越长的训练时间，因此在这次大赛中我们也想做一些这方面的尝试，看若仅利用一小部分的数据，在一个不那么长的单次训练时间内，是否有可能得到一个比较准确的模型。

比赛阶段

本次大赛分为两个阶段。

第一比赛阶段

2017年12月28日0:00:00--2018年2月4日23:59:59

此阶段中，K-Lab使用百度云计算优化型CPU，4核8GB内存。K-Lab单次运行时长为3小时。

训练

使用已抽取的约10%的视频数据训练集（共124个视频），学习视频帧的图片特征序列数据，在K-Lab中训练精彩片段检测模型。

验证

使用验证集的数据与开放的测评脚本K-Lab，评价训练好的模型在验证集视频上的预测结果。

输出结果

对测试集中的视频使用训练好的模型，得出预测结果，通过K-Lab上传结果到测评系统得到评价分数。

2018年1月14日23:59:59，第一比赛阶段中期截止，分数排名第一的队伍获得鼓励奖。

2018年1月15日0:00:00起，用户通过K-Lab上传结果的同时也需上传K-Lab notebook报告。

2018年2月4日23:59:59，第一比赛阶段截止，且报名截止。选拔使用了PaddlePaddle训练模型且上传了K-Lab notebook报告的队伍中，分数前50名的队伍晋级到第二比赛阶段。

第二比赛阶段

2018年2月9日0:00:00--2018年3月15日23:59:59

此阶段中，K-Lab的配置为GPU（百度免费提供的英伟达深度学习开发卡，CPU：6核40g），单次运行时长为3小时。选手无需任何申请或安装，直接打开K-Lab在其中使用即可。

训练

选手必须使用PaddlePaddle训练模型，使用全量视频数据训练集（共1262个视频），学习视频帧的图片特征序列数据，在K-Lab中训练精彩片段检测模型。

验证

使用验证集的所有数据与开放的测评脚本K-Lab，评价训练好的模型在验证集视频上的预测结果。

输出结果

对测试集中的所有视频使用训练好的模型，得出预测结果，通过K-Lab上传结果与K-Lab notebook报告到测评系统得到评价分数。

2018年2月25日23:59:59，第二比赛阶段中期截止，分数排名第一的队伍获得鼓励奖。

2018年3月15日23:59:59，第二比赛阶段截止，百度专家对分数排名前10名的队伍评审K-Lab notebook报告，得出：

一等奖：1支团队，50000元

二等奖：2支团队，20000元

三等奖：3支团队，3000元