数据万象技术演进之路

前言

Dale（1969）的“经验之塔”指出人们获取信息70%以上是通过视觉途径，在互联网时代也不例外。在当今图片音视频服务等已成为一个互联网应用中占比很大的部分，对图片和音视频等数据的处理能力也相应变成企业和开发者的一项基本技能。

腾讯云存储团队历经数年，精心打磨了一款专注于数据处理的一站式智能平台——数据万象（Cloud Infinite,CI)。 本文将以宏观视角，从产品历史、产品能力矩阵、技术架构、 应用场景等方面带大家了解数据万象这款云端处理利器，揭秘日均百亿张图片背后的技术演进之路。

背景故事

2004年QQ空间相册诞生，经历了长期的发展过程，已经深深被用户喜爱，成为大家记忆美好时光和分享快乐的平台。

作为QQ空间乃至腾讯最基础的服务之一，图片处理服务覆盖腾讯各个业务的方方面面。从图片的裁剪、缩放、水印，到压缩、审核、智能识别，伴随着腾讯产品体系的不断完善以及数据量的海量增长，处理服务也经历了一次次的磨炼与升级。

进入云计算时代后，脱胎于QQ空间相册处理服务的数据万象走上了腾讯云公有云的舞台，将QQ空间相册积累的近二十年图片运作经验开放给开发者。2014年，数据万象的前身——万象优图正式成立。起初产品功能以图片处理为主，随后逐渐增加音视频处理、文档处理、AI识别等功能。作为对象存储COS的原生数据处理工具，数据万象主打“智能存储”，帮助客户实现存量数据的批量处理及增量数据的自动化加工。随着产品的发展与升级，数据万象当前日处理图片量已达千亿规模，服务存储量达数百PB。在公司内部，腾讯视频、腾讯新闻、QQ音乐等产品均使用数据万象进行图片及音视频处理；在公司外，数据万象服务了拼多多、小红书、大众点评等各行业客户，为企业降低存储及流量成本、提升内容生产效率及用户提体验。

那么，这款在背后默默为各“大牌”保驾护航的产品是怎样的呢？数据万象的档案就此展开。

智能存储

数据万象(Cloud Infinite，CI) 是专注于数据处理的一站式智能平台，提供图片处理、媒体处理、 内容审核、内容 AI 识别、文档服务等全品类多媒体数据的处理能力。与对象存储 COS 深度集成，通过处理能力下沉到存储，帮助 COS 做智能化升级，提供开箱即用的数据处理及 AI 智能化处理能力，降低用户使用成本， 加速数据流转，提升用户体验，帮助用户挖掘数据价值，提升生产力。

在使用上，数据万象提供同步和异步的处理方式，为用户提供数据持久化处理的选择，用户可在上传时，下载时或者已存储在云上的数据进行处理，满足用户多种场景维度的需求。 如果说COS是万物皆可存，那么CI就是万物皆可处理了。

| 目前都支持了哪些能力？

| 发展历史

2014：数据万象的前身——万象优图产品正式成立，开始在内外部提供云上图片处理服务。

2015 - 2017：逐步集成音视频处理、内容审核、AI识别、文档处理能力，全面升级为音视图文全品类数据处理产品，赋能对象存储，极大提升了用户的使用体验。

2018：万象优图更名为数据万象，寓意包揽云上万象、打造一站式数据处理能力。

2019 - 2020：全面升级内容审核服务，提升能力矩阵；推出云上工作流能力，提出全新【智能存储】概念 ------ 数据存储即处理，帮助用户实现数据-存储-处理-分发全流程，一站式解决用户业务处理场景。

2021：行业首发avif图片压缩能力，助力客户优化存储及分发成本；媒体服务进入高速发展阶段，持续推出265编码、分片转码、极速高清、关键帧识别、色彩增强等众多能力；内容审核持续深耕，支持审核文档、网页数据；进军海外业务，图片处理全面上线腾讯云国际站。

2022：“智能工具箱”发布，提升用户体验与易用性；内容审核与时俱进，推出直播审核能力；产品体验持续打磨推陈出新，从控制台、SDK、API等全方面提升用户爽感。

| 技术架构

业务方可通过控制台、 API、SDK等多种方式接入数据万象， 同时支持COS源和第三方源。

1. 根据传入的请求调用不同的处理模块进行数据处理。 同时会进行监控数据等统计上报，方便进行监控告警。 通过工作流模块支持批量处理， 根据业务规范，指定模板，自动批量处理， 处理完毕后根据配置进行回调业务方。 其中各个内部服务间调用时， 零外网流量。对业务方来说成本更低。

| 应用场景

当前已有众多行业客户接入使用万象，各行业的使用也不尽相同：

有了强大的能力支撑，数据万象得以服务众多的行业及场景，帮助客户实现成本优化、协作效率提升、内容生产及版权保护等核心需要。主要场景如下：

• 成本优化 通过使用图片、视频压缩能力降低存储及流量成本、提升终端体验
• 版权保护 借助明文水印、盲水印等能力有效保护图片资源版权，守护企业、用户的无形资产
• 内容生产 提供丰富的内容生产能力，如智能封面、标签识别、海报生成等，助力客户输出爆棚
• 风险规避 针对存量或增量数据均可进行敏感内容审核，规避舆论或运营风险

客户案例

案例详情

• 使用数据万象的图片基础处理，可做到一份原图，多尺寸展示，满足客户多种业务场景下的图片需求;
• 使用数据万象的图片格式转换能力，在图片保证质量的前提下，有效的降低压缩图片的大小;
• 使用数据万象的盲水印功能，将水印图以不可见的形式添加到原图信息中，保障了客户对图片的所有权;
• 使用数据万象的异常图片检测功能， 帮客户识别出夹杂在正常图片视频中的黑产文件， 有效减少了被盗刷的风险;

案例优势&&客户效益

• 效率最佳: 图片下载自动触发，减少了频繁的人工处理流程。
• 性能保障: 减少了图片存储空间和访问流量的50%以上，同时提升了客户访问速度。
• 安全保障: 解决了盗图维权，流量盗刷等问题，保障了平台的安全性。
• 节约成本:多种功能保证了在保质保量的情况，有效降低客户成本30%以上。

结语

数据万象持续丰富数据处理的相关能力，为广大客户及开发者带来更加优质、先进的使用体验，打造智能存储生态。未来我们会推出【数据万象带你玩转视图处理】的系列文章，从后台技术、产品优势、算法能力等多个方面详细介绍数据万象背后的丰富数据处理能力，诸位看官敬请期待！