IT领域新技术不断涌现,新老技术之间长江后浪推前浪,有的技术被拍死(例如Hadoop被Spark拍死),而有的被推高,带来新的动力(如深度学习提升了分类器性能)。互联网大数据是大数据技术研究、学习和教学的最佳选择,因此本文从互联网大数据处理的角度,描述了人工智能、机器学习、区块链、云计算和互联网等新老技术之间的关系。
下图是大数据处理,包括了大数据采集、信息提取、处理、大数据语义、挖掘和技术平台等核心部分。这些部分与各种先进技术有密切的联系,各种迭代技术可以用来解决大数据处理中的问题。
在大数据采集方面,数据可以广泛来源于互联网、物联网等,主要涉及到各种网络协议和网络应用。
在大数据分析、处理方面,则主要采用人工智能和机器学习方法。人工智能是一项比较基础的研究,主要涉及知识表示、智能搜索、推理、规划、机器学习、知识获取、模式识别、神经网络、智能算法、机器学习、博弈论等等。其中机器学习作为人工智能的一个重要分支得到了长足发展,因此独立画出来。
在大数据存储和计算实施方面,则可以依赖于云计算的相关技术。
最后是大数据的交易、共享,由于大数据在权属等方面与普通商品不一样,需要解决中介拷贝数据威胁、发现二次转手交易问题,区块链去中心化和可追朔性的特征,使得大数据交易与区块链技术结合是比较理想的选择。当然,目前区块链难于承受大容量和高频数据流,还无法解决数据隐私问题。
上述所有部分汇总一下就是以下完整的技术图谱。
领取专属 10元无门槛券
私享最新 技术干货