强化不良信息治理 共创网络良好生态——网络不良信息治理实践与措施建议

文 │ 成都思维世纪内容安全解决方案资深专家 邓兴 魏小良

一、网络不良信息内容治理亟待重视

随着互联网的不断发展，在海量信息不断丰富人们网络生活的同时，网络信息平台类型差异化加强、内容生产者增多，内容多样化明显等特点和趋势，使网络平台面临的不良信息传播风险不断提高，从而使强化平台使用者的参与方式、参与过程的规范化管理，营造健康网络生态和清朗网络空间变得日益重要。2020年3月1日起，国家互联网信息办公室颁布的《网络信息内容生态治理规定》（以下简称《规定》）即将施行。《规定》中对“网络信息内容的生产者，服务平台和服务使用者”三者网络信息内容的相关行为准则进行了明确规范，具有扎实的可操作性。《规定》中，对网络信息内容生产者发布的信息分为三类：鼓励信息，违法信息和不良信息。针对11类违法信息，指出要“采取措施，防范和抵制制作、复制、发布”；对9类不良信息，要“不得制作、复制、发布”。《规定》还强调，网络信息内容服务平台应当加强信息内容的管理，发现违法信息和不良信息的，应当依法立即采取处置措施，保存有关记录，并向有关主管部门报告。

针对《规定》中对于发布者、服务平台和使用者三者的要求，作为多年来致力于提供数据安全、安全服务及内容安全解决方案及运营服务的资深数据安全公司，思维世纪在认真学习《规定》的同时，结合自身13年内容安全的从业经验，依据行业最佳实践开展相关问题分析和应对措施建议。

二、网络不良信息治理的主要问题

从网络信息的整个生命周期来看，我们分析认为，当前，网络不良信息的产生和治理主要集中体现在内容生产阶段、平台运行阶段、平台使用者等三个阶段。

内容生产阶段：内容生产阶段参与者因平台而异，比如很多宣传类网站主要是内部员工编辑发布，而当下比较流行的UGC平台，则主要是网民自主发布的原创性内容。平台类型差异，参与者众多，内容多样化，给管理带来了一定的难度，大多数平台采用人工审核，效率较低，和海量内容及更新及时性也产生了矛盾。

日常运行过程：无论平台大小，都面临着来自内部、外部的不良信息安全风险。我们在10余年的各类平台日常监管实践中，已发现多起由于内部人员及外部网民有意或无意发布不良信息，最终造成恶劣影响的事件。也发现过不少平台被不法分子攻破后，被恶意上传不良信息的案例。

平台使用者方面：随着互联网的不断发展，网民访问互联网的方式也发生了变化，手机已取代电脑成为使用频率最高的终端形式。网民通过App、电脑、机顶盒等进行网页浏览、观看短视频、看直播、发表评论、上传自拍等，互联网的开放让平台面临的不良信息传播风险不断提高，对平台使用者的参与方式、参与过程的监管，也变得越来越重要。

三、对不良信息治理的应对建议

针对以上几方面问题，为进一步做好网络不良信息的治理，我们建议从互联网网站、CDN/WEB缓存、移动客户端、UGC平台、直播平台、存储平台、IPTV、用户上网通道等渠道入手，在内容生产发布、内容平台运行、内容用户使用等三个环节强化管控，采用技术手段对不良信息和违法信息进行自动监测、准确定位、有效取证、闭环处置。从而达到强化信息内容治理，净化网络生态的目标。

1. 内容生产阶段从源头着手，在内容发布前进行审核。

针对当前内容生产阶段存在的诸多问题，我们将核心不良信息审计能力嵌入平台内容发布流程的思路，采用“快速智能排查+人工审核”相结合的方式，在内容发布前进行“先审后发”，减少了人工审核工作量和人工差错带来的风险，降低了不良信息经平台流入互联网带来的风险及法律责任。

具体治理思路为：集中部署私有化智能内容审计API系统或直接使用云SAAS服务提供的标准API接口，对用户主动上传或平台运营人员编辑的原始文件通过调用该接口进行上传审核。智能审计系统基于敏感词匹配、文本识别、图像识别、图像目标检测、图像样例匹配、视频识别、样例识别等技术进行内容审计并返回审计结果，平台根据审计结果决策是否对互联网用户进行展示。

典型应用流程如下所示：

2. 在平台日常运行阶段，及时识别和处置不良信息。

对平台运行阶段的不良信息治理，关键措施是要对网站和App建立长效监测、预警及处置手段，做到“能预防、及发现、速处置”。“能预防”是强化内容发布管理、缓存内容审核、实名制管理及平台安全等方面的预防机制；“及发现”则需要建立日常监测、审核及定位取证等技术手段；“速处理”是针对不良信息的处置建立联动机制，第一时间采取阻断措施避免不良信息的扩散。

治理思路：针对网站类平台，可搭建网站内容安全监测系统，通过流量还原、域名爬扫或日志URL爬取等方式，监测自有网站平台是否存在色情淫秽、涉政敏感、邪教迷信、诈骗赌博等不良信息，进行及时预警通知、定位取证及联动闭环处置。也可直接使用思维世纪网站主动扫描SAAS服务，只需提供域名即可实现远程监测。

针对手机App类应用，可通过思维世纪App内容安全监测系统对App进行不良信息检测。该系统可自动模拟App运行，对页面进行自动点击和浏览刷新截图App页面内容，同时基于OCR技术、敏感词匹配、图像识别等技术对截取的页面进行识别和取证。整个过程已实现全自动化，可定期循环检测：

3. 对参与者使用平台阶段的言论及上传内容进行实时审核。

我们认为，在内容用户使用阶段，关键措施是必须建立内容审核机制。有必要从使用通道的监控（包括手机无线上网、短彩信、宽带上网等）、使用介质的拨测（如浏览器、App等）以及使用交互的内容的审核（如评论、发帖、自拍等）三个层面入手。具体治理思路为：平台可提取用户使用过程中的评论、发帖、自拍及弹幕等形式的互动内容，提交给智能内容审计API系统进行自动识别及预警，平台运营人员根据识别结果及时进行删除或上报相关部门进行处置。该系统可私有化部署，也可直接使用SAAS服务。

4. 关键技术及应用。

网络不良信息生态治理需要靠管理措施及技术手段协同完成。根据对《规定》的学习，我们认为，服务平台要满足要求，必须具备相应的技术手段，否则极有可能误报、漏报违规信息，导致违规信息发布风险，投入大量人力但效果不佳。因此，针对不同的平台类型、不同的使用场景、不同的网络参与位置，需要采取不同的治理思路，以达到不断积累和完善技术手段，提升监管及处置能力，净化网络信息内容生态等目标。为保证做好不良信息的监测与处置，我们在实际的应用中采用了以下几种关键技术：

文本检测技术：采用敏感词匹配（10万+关键字库）和AI文本识别技术相结合，满足不同场景下的文本识别需求。AI文本识别是基于深度学习的自然语言处理技术，通过使用不良监管数据训练字词向量，提升泛化能力，从而提高文本不良信息的检测发现率。

智能图像识别技术：通过大量图片精细化分类并进行持续训练、频繁迭代模拟形成人脑视觉认知对同类型/相似场景图片进行识别，在色情、低俗类图片的识别上应用效果极好。

图像目标检测技术：在给定的图片中精准找到物体所在位置，并标注出物体的类别，可对图片中出现的旗帜、Logo进行精准识别，该技术用于一些特定反动和涉政场景目标。

样例匹配技术：对特定图片进行主动识别，防止其经过扭曲、加字、裁剪、缩放等处理后在网络中传播。目前思维已积累涉政、暴恐样例图片库3万多张，在维稳场景中有深度的应用。

除了以上几种技术，根据不同的应用场景也会用到视频识别、人脸识别等技术手段，通过多种技术整合来达到不良信息治理的目的。同时，也需要管理部门、运营商、企业平台通信起立，协同完成。

（本文刊登于《中国信息安全》杂志2020年第2期）

更多信息安全资讯

请关注“中国信息安全”