数据分析师在物联网的哪个环节？

2005年，国际电信联盟的一份报告中描绘了“物联网”时代的图景：当司机出现操作失误时汽车会自动报警；公文包会提醒主人忘带了什么东西；衣服会“告诉”洗衣机对颜色和水温的要求等等。

这么美好的图景里面，我们——学过统计、用R用SAS跑模型、努力学习Python（【统计师的Python日记】已经更新到第6天了→第6天：数据合并）、平凡又伟大、美丽又善良的数据分析师，主要参与哪个环节？

不是部署报警器，也不是研发智能洗衣机，本质上就是跟你白天刚刚做的工作：整理、分析、建模、预测。本着学习的态度，数说君收集了一些资料，和大家一起探讨一下物联网中数据分析师的角色。

物联网（Internet of Things）用最简单的一句话就是各种感知器的广泛应用，具体来说，要实现“物-物互联”，主要分三个层次[1]：

（1）感知层：由各种传感器以及传感器网关构成，包括二氧化碳浓度传感器、温度传感器、湿度传感器、二维码标签、RFID 标签和读写器、摄像头、GPS等感知终端。感知层的作用相当于人的眼耳鼻喉和皮肤等神经末梢，它是物联网识别物体、采集信息的来源，其主要功能是识别物体，采集信息。

（2）网络层：由各种私有网络、互联网、有线和无线通信网、网络管理系统和云计算平台等组成，相当于人的神经中枢和大脑，负责传递和处理感知层获取的信息。

（3）应用层：物联网和用户（包括人、组织和其他系统）的接口，它与行业需求结合，利用云计算、模式识别等智能技术对数据进行处理分析。

比如，监测飞机喷气引擎中一些不易察觉的警报信号，以此来预测哪些设备需要进行维护，甚至能提前一个月预测其维护需求，预测准确率达到70%，这可以极大减少飞行延误。这也是跟我们数据分析师最相关一层。

（图片来源于盛视Maxvision[1]）

聚焦在应用层，看数据分析师如何发挥他们的“雄才大略”：

刚刚说的飞机喷气引擎的例子，这个实际上是GE（通用电气）机器学习专家AnilVarma正在做的事情[2]。这些传感器将温度、压力和电压等数据实时传输回GE进行分析。虽然资料中没有提及具体的算法，但数说君认为应该是：结合业务经验，构建一定的模型或者指标，监测“危险”信号，预测未来一段时间内的维护需求——一个典型的数据分析师的任务。

实际上，GE在这一块已经相当领先，涉及各个领域，比如GE与加拿大一家电力公司通过分析卫星影像、天气地图当地停电记录等数据预测树木修剪的热点地区(掉落的树枝是雷电导致停电的主要原因之一)。

GE全球董事长伊梅尔特戏言：“GE昨天还是一家制造业公司，一觉醒来已经成为一家软件和数据公司了。”

那么GE对数据人才是怎样的？数说君在GE的官网上搜集了一些人才需求，以数据科学家 Data Scientist为例，这个职位在上海：

角色：

• The Data Scientist will work in the Digital Foundry addressing statistical, machine learning and data understanding problems in a commercial technology and consultancy development environment. In this role, you will contribute to the development and deployment of modern machine learning, operational research, semantic analysis, and statistical methods for finding structure in large data sets.

主要涉及机器学习、运筹学、语义分析、大数据的数据结构方法等。

要求: Basic Qualifications:

• Bachelor’s Degree in a “STEM” major (Science, Technology, Engineering, Mathematics)
• Minimum 2 years analytics development in a commercial setting
• Demonstrated skill in the use of one or more analytic software tools or languages (e.g., SAS, SPSS, R, Python)
• Demonstrated skill at data cleansing, data quality assessment, and using analytics for data assessment
• Demonstrated skill in the use of applied analytics, descriptive statistics, and predictive analytics on industrial datasets

简单而言就是STEM专业（科学、技术、工程、数学）的学士以上，至少2年工作经验、掌握统计软件如R、SAS、SPSS、Python，有数据清洗、数据质量评估和分析的技能，可以对工业数据进行应用分析、描述统计以及预测分析等。

我们非常熟悉的SAS公司，也在物联网上进行了布局，实际上，SAS已经推出了专门的物联网分析产品。以下来自SAS中国的官方微信[3]：

SAS®物联网分析（SAS® Analytics for IoT）是在SAS成熟的数据分析产品基础上组合而成的全新套装产品，成功将SAS大数据分析的核心技术应用到了物联网连接的传感器和设备上。SAS物联网分析结合了流技术、数据分析和其他领域专长，把物联网数据转化为深刻洞察。 例如SAS可向企业提供稳健的维保需求预测方案，实现当即制定个性化产品，促使企业采取具有商业价值的行动等。 SAS物联网分析可以帮助企业解读快速流转并积累的数据，协助客户根据数据信息做出正确决策。由此产生的收益，例如安全性和产品质量的提高、人身伤害的减少等，能转化为更有益的利润。制造业、能源、零售业等相关行业都可以从SAS®物联网分析中获益。

科尼集团是一家工业起重机制造商，利用SAS，他们分析设备和客户数据，以及使用情况、撞击数据，把大数据同可靠性分析与模拟相结合，提高预测能力。

另外在农业上，我们也介绍过在畜牧场、农场如何使用传感器进行监测分析的例子（Farmeron：农场主的数据分析工具；德强农场—一家国内大数据农场）。

从以上内容，我们稍稍提炼一下数据分析师在物联网大数据的实践技能：

1）语义引擎、多元数据融合技术

物联网中数据的存储方式、组织结构以及时效性呈现出多样性。我们需要一系列的工具去解析、提取、分析数据，语义引擎需要被设计成能够从“文档”中智能提取信息。

2）海量数据挖掘技术

MapReduce架构可以作为海量数据资源知识元挖掘算法的统一处理机制，在Hadoop分布式系统平台上，能够实现分类、聚类和关联知识挖掘等算法，深入数据内部，挖掘价值，这些算法不仅要处理大数据的量，也要处理大数据的速度。

3）可视化分析

近随着处理的数据量越来越大，可视化的需求越高越高。对体量大、多源的物联网数据而言，可视化呈现是一个非常重要的技能。

4）预测分析能力

预测是物联网的一个重要应用，无论是农业产量、物流，还是工业设备维护，预测效果直接显像在应用层面。

12年GE发布的报告显示，每提高1%的燃油效率，航空业每年能节省20亿美元，而能源行业则能节省40亿美元。到2020年全球工业互联网年产值将达到2250亿美元，大大超越消费物联网1700亿美元的产值[5]。

最后，物联网是个陌生又有点熟悉的行业，对我而言更多的是一个学习的态度，非常非常希望能有这方面的专家赐文指导。

——————————

参考资料

1. 盛视Maxvision

http://www.maxvision.com.cn/wisdom.asp?menuid=22&menuidd=60

2. 传感器+大数据：GE打造工业互联网

http://www.ctocio.com/ccnews/9954.html

3. 全新SAS®物联网分析简化数据流挖掘，携手企业迎接工业4.0

http://mp.weixin.qq.com/s?__biz=MzA5MTI1ODczMQ==&mid=2650473056&idx=1&sn=ea14867eb6a7c93ec0744544fc679fc3&scene=1&srcid=0512ocSyMWF414kEJQVkMcFp#wechat_redirect

4. 物联网中的海量数据处理技术

http://www.xzbu.com/1/view-5288264.htm

5. 下一个你必须知道的投资热点：工业互联网革命

http://money.163.com/16/0423/16/BLBNOIV800253B0H.html