千亿计设备产生海量采集数据，如何处理？看看它的处理方式！

众所周知，物联网连接的设备有数以百亿千亿计。而且每个物联网设备的终端，都在不停的产生数据。比如需要监控温度变化的设备终端，可能在记录每时每刻的温度，所产生的数据是实时的。它不象我们连接网络，你不在浏览的时候，不会主动产生数据。物联网设备在实时监控（可能是温度、湿度、图像、视频等等）的时候，它将产品海量的数据资料，那么这些数据要怎么传输呢？

一般来说，物联网物联传输处理过程，首先要进行数据接收，也就是将采集的数据进行汇总，再进行数据传输，到中央处理系统（通常指服务器），再通过数据存储、分析、加工，再将需要的结果，通过应用程序反向设备发送相关操作指令。

面对海量的数据传输，数据的分析和加工，通常有两种典型的处理方式，分别是“批处理”和“流处理”，让我们跟随小瀚一起来了解一下：

一、批处理

批处理的方法就是隔一段时间就分批次的处理一次积攒的数据。一般情况下先把数据存入数据库里，隔一段时间就从数据库里获取，执行处理。这种方式适用于不需要紧急处理的工作环境，比如气象温度、湿度、风向数据，冰箱及空调等相关数据，城市监控等数据。批处理需要在规定的时间内处理规定范围的数据，因此数据量越多，执行处理数据的服务器就要求性能越好。

随着物联网设备的逐渐增多，人们需要处理的数据量也越来越大，人们处理这些庞大的设备量得到的图像、声音及各种传感器获得的数据，进行存取、分析、处理并得到所需数据，就是大数据的应用了。一般大数据都需要用到分布式数据处理方式及数据库。分布式数据处理平台主要有：、Apache Spark、Redis数据库、Mongodb数据库、Elasticsearch数据库等。

二、流处理

流处理的方式，是不保存所有数据，只搜集需要而且有用的数据，其它数据都会直接被丢弃。比如我只想做一个温度预警的消防装置，虽然温度传感器在实时监测温度数据，但是只要没有超过我的预设值，数据都是直接丢弃不用的。只有超过预设值（比如我可以设置3个数值），才会向数据库存储，并且通过服务器进行分析，然后做出相应的反应。比如是有消防警示，或者启动灭火设备等。

批处理是把数据攒起来，一段时间一次性处理的方法。而流处理，是不保存数据，按照数据流的顺序依次进行处理。就是没用的丢弃，没用的继续丢弃，有用的直接存储。

想实时对数据做出反应的时候，流处理就是一个很有效的处理方法。可以减少数据的存储和提升效率。

物联网市场越来越大，选择哪种数据处理方式，主要还是要根据实际情况，项目和工程所需，并没有固定的方式。并没有说批处理一定好，或者是流处理一定比批处理好。有的时候，也许会两者相互结合使用！美好生活，万物互联！