之 comScore移动Meter数据处理项目分享

小 • 编 • 导 • 读

2018年度CTR各奖项已尘埃落定，为帮助大家更好的了解这些优秀的小伙伴，了解项目内容，HR倾力打造的『会心分享』系列，从即日起将陆续为大家介绍各奖项获得者及团队，分享他们的宝贵经验。希望通过本次『会心分享』，能给大家的工作带来一些启发和帮助，让每位CTR人都能成为更好的自己，每个CTR团队都能成为更好的团队，我们都是棒棒哒

获奖团队

项目名称丨comScore移动Meter数据处理项目

所获奖项丨2018年度CTR “最佳三互项目奖”

执行部门丨运作及样本中心-样本调研部

执行团队丨罗志亮、王磊磊、王浩、丛莹滋、李雯静

会心分享

移动Meter是公司非常重要的一款互联网数据产品，它通过Meter测量仪技术，采集了受众的应用程序和浏览器的使用行为，以及受众的性别、年龄、地域、收入等多维度的人口属性信息。基于对CTR移动Meter数据的认可，2018年comScore与公司签署了购买移动Meter数据的协议。非常荣幸，领导将comScore移动Meter的数据处理工作交给了我们。

“如今我认识到这个世界是无限广阔的，希望与绝望、机遇与挑战并存，而这个世界属于有胆识、勇气去追求和探索的人”。夏洛蒂·勃朗特在《简·爱》中如是说。

2018年注定是一个充满机遇与挑战的一年，压力与动力同在。挑战在于我们是一个传统的样本调查数据处理团队，处理过最大的样本量也就是百万级别，而Meter是以千万甚至以亿为单位的大数据，能不能接住这个工作并做好，当时心里是忐忑的；机遇就是在大数据时代下，领导给了我们学习和实践大数据的机会，将comScore移动Meter的海量数据处理工作交给了我们。

我们非常珍惜这次学习的机会，历经200来个日日夜夜的艰辛与挫折，通过不断的学习和钻研，我们昂首走了过来，完成了从问卷调查的样本数据到Meter的大数据处理的淬炼。我们不仅很好的完成了comScore移动Meter项目的数据处理工作，也使DP进化升级为具备大数据量级数据处理能力的团队，同时在服务标准和流程上也给部门和团队积累了很多的经验。

在Meter的数据处理工作中，我们主要遇到了数据存储、清洗、加权、可视化等方面的问题。比如APP端的Meter数据怎么接收存储、如何实现自动化ETL作业、如何加权及可视化报表展示等问题。为了解决这些问题，我们学习了很多新的大数据处理方法，搭建读写分离系统和数据仓库，使用SQL查询和流式计算等方法等，最终解决了Meter数据存储、清洗、处理的问题，打通了从APP数据接收存储到可视化报表展示的全流程。目前我们已经顺利提供了10个月的移动Meter数据给到comScore，向客户证明了CTR良好且持续的数据交付能力。

comScore移动Meter数据处理项目是我们第一次使用大数据思维和方法处理的互联网类型的项目，是我们向互联网服务迈出的第一步，非常感谢公司给了我们这个展示自己的平台，让我们荣获了公司级的最佳三互项目奖。

在幸运与感恩同时,我们深感荣誉来之不易及肩上的责任之重大，因为我们知道我们与互联网行业的大数据处理标准还有很大的差距。随着公司Meter业务的发展，我们还需要学习更先进的Hadoop分布式计算引擎MapReduce和Spark等大数据处理技术。面对新挑战，我们仍将昂首面对，因为“这个世界属于有胆识、勇气去追求和探索的人”。最后我想引用徐总在2019年新年致辞中的一段话作为结束语：“2019年，让我们做时间的朋友，结硬寨，打呆仗，做一个奋斗的追梦人！”

敬请持续关注

或添加公众号ID：会心处