用网易易盾内容审核系统，修炼出的鉴黄师“读心术”

什么是鉴黄师？

在《2019网易易盾内容安全智能体系发布会》的现场，主讲台上的大屏幕中展示了这样一段街拍内容——一名主持人正随机拦住路人，并向他们逐一询问上述这一问题：

被问到的第一位“幸运观众”是位漂亮的小姐姐，当听到这个问题，她噗嗤一声笑了出来，上扬的嘴角似乎蕴含着百般回味。

紧接着，被询问的是一名清洁工伯伯。听到这个问题，他将半挂在脸上的口罩重新戴上，支支吾吾回了一句：“这个......是高科技，我只是个清洁工。”

第三位受访者，是位年轻气盛的小哥。当面对美女主持人的提问时，直接羞红了脸，却故作镇定地问道：“除了要看很多......资料，还有啥其他的吗？原来网易还有这个职位的吗？（恍然大悟）”

屏幕对面，熙熙攘攘的与会嘉宾对话声中传出阵阵嬉笑声。显然，这街拍内容是说到心坎里去了......

实际上，在网易易盾内部，鉴黄师这份工作又被称之为内容审核专员。然而，从事着这份职业的人们，似乎并不像我们想象中那样，每天过着“快活似神仙”的生活。

其实，内容审核并不像一般人们认为的只有鉴黄这一种。更多时候，他们所面对的是黄色、暴力、涉恐、等高敏感度的信息，更忍受着长期精神和身体上的创伤。然而，内容审核的漫漫长征路这才算刚刚开始。

借助此次大会，网易易盾产品总监饶晓艳向我们分享了她眼中那些内容审核人员的血泪史，并为突破种种人工审核难点推出了全新解决方案——智能内容审核管理系统。

其实，这一系统原本是网易内部使用的内哦让审核工具，随着这次发布会的亮相，也意味着该系统将正式对外开放。So，为啥网易易盾要选这个时间开放自己的内容审核管理系统？好不好用、有啥功能......

一块压垮人工审核的巨石

人工智能技术的发展，为很多行业带来便利。面对专一性较强的工作，这类机器在准确度、效率和持久性上完胜人类。

然而，它们偏偏拿内容审核没辙。

以鉴黄师为例，人工智能的鉴定只能将海量视频/图片中的疑似黄色内容筛选出来，它可以将审核范围从无边无际中圈出一个范围，但并不能像人一样理解每张图片中内容的准确含义。

试想，一张屁股的图片，如果整张拿给AI去识别，它准能认出这个少儿不宜。然而，如果我将图片切成四份并打乱顺序呢？如果是人，你那颗机智的大脑会立即还原出这张照片的原貌，而AI不行。

网易易盾CTO朱浩齐称，随着内容产量、形态的骤增，黑灰产也在不断学习和进化。很多时候他们会故意放出一些敏感内容来试探我们的AI审核机制，再在摸清规律后对图片进行处理。

他们试图将敏感位置做极小面积的覆盖，或干脆将图片切割成若干分，并在每张插入一个小的色情图片......只要与之前的鉴别逻辑不符，很容易骗过机器的眼睛。

解决问题的最简单办法，就是上肉眼。

然而，随着内容生产量的骤增、用户体验及负面事件风险提高以及审核标准严苛细化，各种各样非标准化审核管理系统犹如一块巨石压得审核工作者喘不过气。

一方面，在国内，主流的社交媒体平台的审核人员都达到上千人以上的规模；而在国外，Facebook在自有算法的情况下人工审核团队达到1.5万人，youtube在谷歌大脑算法支持的情况下同样在2018年审核团队达到了一万人。

由此可见，人机协同仍是未来很长一段时间的审核模式。然而，人毕竟不是机器，而是有血有肉的生命。

另一方面，内容商往往希望运营部门保障用户体验，不能让用户的等待时间过长。尽管人人皆知安全第一，但人工审核势必难以在这条先审后发抢夺用户的赛道上取得好成绩。

这意味着每天会有大量UGC的内容产生，人工审核与需求量不成正比。

当一目十行已经太少，需求量变成一目百行、一目万行的时候，对于人工审核又快又准的最低标准便显得近乎苛刻。

更何况，即使是人工审核，也会遇到对某些内容束手无策的时候。

今年12月，Facebook宣布拨款1.3亿美元建独立“删帖法庭”。用小扎的话说，在我们很难凭借一己之力来判断一个内容是否该被删除时，除了通过建立一个类似“最高法庭”的机构来决定，我们别无他法（扎克伯格成会邀请美国各界人士加入“删帖法庭”以保证公正性）。

很多内容的含义并不能用标签化的方式来判断，这是人工审核容易犯难的地方，而除了鉴别各类内容，人工审核还不得不应对杂乱无章的审核管理体系，这对于加快人工审核速率没有一点帮助。

会议现场，某社交平台的工作人员向雷锋网透露，自己每天要在三个审核管理平台进行交替作业：首先是头像昵称审核，再者是登录视频审核平台，如果收到举报还要再登录一个举报审核后台......

有1000个产品就有1000+个审核后台，这种感受，要比你把登了QQ登微信重复上万遍更崩溃，又何谈高效、准确的审核内容呢？

在饶晓艳看来，上述问题的背后体现的是业务需求先行，审核需求处于滞后的现状。归根结底，是快速发展的内容平台、日趋严苛的审核标准跟陈旧的审核系统之间的一种矛盾。审核系统没有专门的设计开发，不会考虑用户体验或者效率多少，这正是产生问题的原因所在。

打造人工审核的“助力装置”

打造全新的审核系统，无异于推到一栋楼重头再来。

饶晓艳在接受雷锋网独家采访时称，对技术人员来说，真的没人希望再做一次审核系统，这意味着以前的审核系统架构要完全推翻，根据新的审核需求重新定义整个系统，从底层重新来过。

然而，今天公布的智能审核管理系统已经是网易易盾对内推出的第三代审核系统了，再加上第一代的审核后台和第二代的多媒体审核系统，一同刻画出网易不同阶段对内容审核需求的诸多转变。

早期，这一系统并没有对外公开的计划。

但正如上述，在饶晓艳团队走访的众多客户中，他们听到了与网易内部需求类似的声音——审核人员和主管都十分关心审核系统是否能让业务有更好的审核效率，以及怎样能帮助节省成本。

基于以上，网易易盾决定将内部使用的这套审核管理工具产品化。至于究竟要打造怎样的审核系统，细细品味起来侧重点则是有点当初微软打造第一个电脑操作系统的感觉。

面对凌乱、繁杂的各种审核系统，网易易盾一方面希望自己的产品具备高集成度和开放性，另一方面更希望操作、视觉能在审核人员、弱势群体和无经验工作者面前体现出极度的界面友好。

那么，它们打算如何实现这些设想呢？

首先，是全面丰富。这是指审核管理系统容纳包含音视频内容、图片内容和文本内容的全生命周期的审核链路。

在此基础上，加入了极速审核、分类审核、二审模式、质检审核、全量审核以及部分审核的多选择，以应对适配不同审核时效、多重审核流程和不同进审核要求。

其次，是智能高效。是指各个审核逻辑都建立在智能引擎推动的前提之下，这是节省人力成本的关键，也是打造友好界面的关键（之后会提到）。

一方面，人工智能作为初期的审核工具，依据标签、模型算法，可以按照审核需求（业务、管理制度等）对内容进行聚列，并自动生成数据报表，以方便人工就单一特征进行定向审核（一般要求审核人员20分钟出帖）。

再者，是轻量灵活。俗话说办法总比困难多，面对层出不穷的新问题，定制化模块可以解决针对特有客户的需求进行专门设计。

然而，原本定义高集成度的审核管理系统，如果再加上无数个定制模块，这是否会让整个系统再次变得臃肿不堪呢？

饶晓艳认为，定制化模块并不意味着只能解决某家企业的单一问题。新的模块对应的一定是一个群体的共同需求，而随着市场需求量的不断增大，该模块则会直接被并入整个系统当中，毕竟这要比做第四个审核系统来的容易。

最后，是有温度。

人工审核有多难做？来，看一张图就能说明所有问题：

要求：请在10分钟内，从以下显示器的图片中，找出所有戴毛线帽子未成年小眼睛男性的照片。

让审核管理系统变得更友好，首先就是做好交互设计。

以审核直播电视墙画面为例，从产品化角度考虑，一个显示屏的审核目数越多，越有利于降低成本，提高审核效率，但势必会造成质量下降。

解决这一问题，易盾团队首先选择了几家内容厂商进行蹲点跟踪调查，并在百度百科上参考了浏览器审核可分辨极限值。

调查结果显示：正常人的最少可辨视觉阈值约0.5，即针对22寸1920*1080分辨率的显示器，人眼在显示器上可分辨最小像素值范围为9.81-16.23px，针对24寸1920*1080分辨率的显示器，人眼在显示器上可分辨最小像素值范围为9.39-15.53px。

最终，得出的结论是——显示器审核方式下，屏幕可分辨范围在10-15xp之间，是最小视觉可分辨范围，也就是说直播视频审核画面在9路、12路和16路是最舒适人眼的审核画面，这在交通监控后台中十分常见。

然而，面对海量的内容审核需求，这样的审核路数一定无法满足需求。对此，更多内容厂商会使用38路、56路（甚至更高）审核的画面。那么，该如何实现人工审核的舒适度与工作效率并驾齐驱呢？

饶晓艳称，人工智能引擎的应用，可以在多路数显示器上进行现有画面的自动审核，并通过提亮显色对高危、中危等不同程度的内容审核做出提示，以达到对舒适区之外可能遗漏的问题内容进行强提醒。

但人终究是要休息的，因此在系统中内置定时休息的提醒功能也十分有必要，这不光可以对审核人员起到保护作用，更有利于保障审核工作的常效执行。

其次，是趣味化。正如开篇提到的，审核内容并不像一般人们认为的只有鉴黄这一种。更多时候，他们所面对的是黄色、暴力、涉恐等高敏感度的信息。

为了达到适当调节审核人员精神的目的，该系统加入了勋章体系、积分体系和梦想体系，以此达到让评比、排名等高竞争力的信息的显示方式更加趣味化，促进人员成长体系的完善。

最后，网易易盾认为内容审核系统的升级，不光是品牌驱动、产品需求的刚性体现，更应该满足社会需求。因此，该系统内置了无障碍辅助设计，可以支持残障人士完成审核任务。

目前，网易易盾面向未来的第三代智能审核系统1.0版本已经上线，未来将会以一周一迭代的速度进行持续更新。

花絮

大会之后，雷锋网对饶晓艳进行了简单专访，以下为对话整理：

1、为什么审核管理系统的功能会在最后落实到“有温度”这块？

饶晓艳：体验舒适为导向，一方面来自于对人工审核性质的考虑，更多的还是基于客户的需求推动。在我们与客户的交流过程中，审核人员的身体、心理健康程度是直接影响审核结果和收益的重要组成部分。

未来，我们还将为无障碍辅助系统加入例如多语言切换等各种新的功能支持，以降低内容审核的成本。

2、您刚才有提到小扎建立“删帖法庭”的事情，在国内有类似的机构吗？如果各界人士都参与其中，这是否会成为新的节省人工的解决方案？

饶晓艳：首先，在国内网易易盾发起了内容安全联盟，其作用是当某产品的用户对内容进行投诉，但并没有得到任何的回应，这时该用户可以转诉给内容安全联盟，并由其联盟成员对该内容是否违规进行判断。

这种模式，并不能减缓厂商对于人工审核的大量需求。

第三方联盟的存在，主要是为了处理一些争议性较强的内容，其不保证及时性。对于内容厂商来说，快速、高效、准确、合规是内容审核的最大难点，“删帖法庭”的类似机构并不能有效解决这些问题。

即使启用了第三方审核，也能达到审核的相应标准，那这种服务一定是走付费标准的，不会从解决纷争的角度来处理这件事，这会增加厂商的审核成本。

3、一般视频、图片和文本不同方向的客户，哪一个在内容审核时需要的人力成本更高？

饶晓艳：这个没有办法以一概全。从审核效率来衡量，图片、视频的审核效率要高于文本，视频、图片的审核，归根结底都是图片的审核。相比文本审核，视频、图片的审核速度会高1倍多。

其主要原因在于审核方式的不同，图片的审核，在AI的加成下可以根据其特征、类型和内容导向做到批量审核，尽管文本也可以做聚类分析，但更需要人眼逐字逐句看过并参悟其含义，一目几百行的情况是不存在的。

雷锋网