大数据史记2013：盘点中国2013行业数据量（上）

说人类步入了信息时代，有个事情是非常重要的，就是物理世界的信息化，包括信息基础设施建设和数字化，紧接着就是如何将数字化的东西（数据）进行储存、传输、交换以及使用，这一脉络伴随着移动互联网，云计算、大数据以及各种各样智能终端的出现，显得也越来越清晰。很多人都已认可，我们可能来到一个工业革命之后，一个比我们想象地更加重要的变革时代，我们把它命名为产业互联网的时代。毕竟这一切都是互联网出现之后才发生的，无论是云，通过网络随需调用的计算资源；大数据，关联的可分析在线数据；还是各种智能终端，都要依托互联网。同时这些工具又帮助互联网从消费互联网进化到改变各个行业的生产性互联网，其中，数据成为产业互联网重要的生产要素。当然，数据成为生产要素还有个前提，就是获取数据，并有效的梳理与标签。 2013 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2012 年，相当于2009 年全球的数据总量。预计到2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。（来源，ZDNET《数据中心2013：硬件重构与软件定义》年度技术报告） 我们通过服务器和数据中心数量，以及各行业数据梳理，大致判断国内目前一年产生、存储的数据总量以及大致分布，在这一回中，我们尝试将所收集的资料汇总起来，进一步分析下各个行业、领域的数据总量和分布情况，以供参照。 1、BAT代表的互联网公司 （百度）现在的数据总量接近一千个PB左右，网页的数量大概是几千亿的网页，从大量的网页里面我们拿出几百亿来建索引，对于大量的网页，我们每年更新几十亿左右，每天会享受用户的查询也会在几十亿左右，我们查询的也是几百PB。（百度云计算首席架构师林仕鼎2013） 根据公开的信息，作为全球最大的中文搜索引擎，百度每天响应来自138个国家和地区的数十亿次请求，百度每日新增数据10TB，要处理超过100PB的数据，从浩如烟海的信息中精确抓取约10亿网页，同时索引库还拥有千亿级在线索引能力，以帮助用户完成搜索过程。面对海量的大数据，百度正在通过自建数据中心，开发了自己的大数据存储系统，并使用了多项新技术。计划投资47.08亿元的百度云计算（阳泉）中心已于2012年8月奠基，该项目预计2015年完工。建成后的百度云计算（阳泉）中心数据存储量将超过4000PB，可存储的信息量相当于20多万个中国国家图书馆的藏书总量。 百度的数据量大大家可能不会怀疑，甚至说中国拥有最大数据量的公司，大家可能也不会怀疑。因为我们是提供搜索服务，我们要把全中国的中文网页全部搜索起来，放到我们中心。全部的网页多大呢？目前估计是三千亿左右，三千亿个中文网页要把它全部抓过来，放到我们的数据中心。这个数据大概是10-50个PB，这个范围很大，因为这个情况是每隔一小时时间就会发生很大变化。再一个想不到的是日志，百度的系统里面每天有很多大量的日志，这些日志是作为我们分析处理用户行为习惯，包括数据恢复和灾难备份很重要的基础，这个数据量是最大的，目前能达到100个PB以上。数据仓库，数据仓库是经过清洗以后的日志信息，这个是结构化的。再一个大家知道，百度上有百度推广，俗话叫广告。和传统广告一样，除了有客户的信息之外，还有广告本身，这部分数据比较小，1TB，但是这部分数据对它处理的要求非常高，首先是要高度的一致性。最后一个是UGC，用户产生的内容，大家都知道百度有贴吧，有百度知道，百度文库，这些内容是广大互联网网民自己产生，自己上传，大家一起分享的数据，这部分数据目前达到1PB，而且这里的数据大量是用户上传的视频、图片等等多媒体的数据。（百度技术委员会理事长陈尚义2012） 2013年有篇报道指出阿里巴巴掌握的总体数据量为３０Ｐ。行业内部人士预计阿里集团大概有30万台左右服务器，目前保存的数据量应该在近百PB（对新浪微博的投资，对高德等的收购等行为，会进一步提高阿里巴巴可接触的数据量）。2012年7月10日，阿里集团就宣布设立首席数据官岗位（CDO），负责推进“数据分享平台”战略。阿里巴巴也一直在尝试对数据进行加工。从早期的“淘宝指数”，到为店铺经营提供运营管理数据分析的“数据魔方”，到将“云”理念与大数据结合的“聚石塔”，再到以数据分析为基石的“阿里金融”，阿里在大数据开发方面一直走在业界前沿。 从淘宝创立之时，阿里巴巴就开始搜集平台上的数据，直至支付宝、聚划算、一淘等平台，随着业务的爆发式增长，阿里诸平台上的数据成倍增加，汇集成海。这些数据包括交易数据、用户浏览和点击网页数据、购物数据等等。阿里集团首席战略官曾鸣预测，“阿里本质上，未来会是一家数据运营公司。”前者，是如何将大数据用好，而后者则意味着，如何让大数据更好用。 在2013年大数据大会上，腾讯公司数据平台助理总经理蒋杰表示，在国内互联网体系中，腾讯拥有的数据覆盖多个领域，总存储数据量经压缩处理以后在100PB左右。 腾讯QQ目前拥有８亿用户，４亿移动用户，在数据仓库存储的数据量单机群数量已达到4400台，总存储数据量经压缩处理以后在100PB左右，并且这一数据还在以日新增200TB到300TB，月增加10%的数据量不断增长，现在正在为1000个PB做准备。亚洲最大的数据承载中心，腾讯天津研发与数据存储中心正在滨海新区紧张地建设中，腾讯天津中心项目总建筑面积9.33万平方米，预计服务器托管能力超过10万台。 其他像360、一些地图、社交、影视娱乐类互联网公司，也拥有PB量级数据储备。如果按某媒体所说的BAT中阿里巴巴拥有90%以上的电商数据，百度以70%以上的搜索市场份额坐拥庞大的搜索数据，腾讯拥有大量社交、游戏等领域积累的文本、音频、视频和关系类数据，这三大巨头拥有的数据量肯定是在EB级别以上，全部互联网公司拥有的数据量应该超过1.5EB，达到接近2EB的体量。 2、电信、金融、保险、电力、石化系统。 2012年12月13日，在由云基地主办的“中关村大数据日”活动上，中国联通研究院副院长黄文良介绍，“今年，中国联通成功将大数据和hadoop技术引入到”移动通信用户上网记录集中查询与分析支撑系统”。截止到目前，我们已经部署了4.5PB的存储空间。除了这些数据，运营商还具有用户通话、信息、地理位置等信息，目前主要运营商拥有的数据数量应该都在10PB以上，总体年度用户数据增长约数十个PB。 中国银联公开数据显示，全国仅“银联”银行卡发行量目前接近40亿张，每天有近600亿交易通过银联的银行卡交易，尽管单张卡片数据量不大，但汇总起来，这依旧是一个非常庞大的数据量。如果再加上开户信息数据，银行网点和在线交易的各种数据，以及金融系统自身运营的数据，目前国内银行和金融系统每年产生的数据也能达到数十PB，保险系统生成的数据量也会接近PB级别。 今天，国家电网建成世界最大电能计量自动化系统。截至2013年年底，累计安装智能电能表1.82亿只，实现采集1.91亿户，采集覆盖率56%，自动抄表核算率超过97％。智能电网可以产生巨大的数据量。比如国网信通在北京五个小区， 353个采集点，采集1.2万个参数，包括频率、电压、电流等， 15分钟采集一次，一天就能产生34GB。仅国家电网，全国能够采集获得的数据总量也是上10个PB级别的，能够保存下来的数据量也能达到近10PB，同样，据内部资料分析，石油化工、智能水表等领域每年产生和保存下来的数据量也达到数十PB级别。 精彩内容，下期继续......