大数据智能分析软件发展趋势

大数据无疑会在数字化社会中发挥极大作用。行业大数据和人工智能技术的融合成为新一代人工智能产业的关键。从目前的发展来看，数据本身已经成为竞争力的本源。对数据的掌控和对用户的刻画，将必然成为产业链中为最终用户提供服务的玩家的必然战略和技术布局策略，数据资产的运营将成为新的潮流和趋势。

近几年来，正是大数据积累和智能分析软件系统的进步，面向特定需求和应用场景，推动的传统人工智能的发展。以高效能数据处理、数据访问和数据传输为核心问题的大数据处理系统是支撑各种大数据应用系统、物联网系统、人工智能系统的重要支柱。这些，都需要透过大数据智能分析……

就让我们先来看看基于大数据的智能分析软件和系统的现状和趋势吧。

（一）现状：可以简单分为通用型和领域专用型两类。

（1）通用型大数据智能分析软件

通用型大数据智能分析软件是大数据、人工智能等领域的通用分析工具平台，根据其部署模式大致可细分为3类——单机环境、分布式环境和云计算环境。

在众多开源免费数据分析软件中，R语言、Scikit-Learn、Weka是典型单机环境通用型大数据分析软件代表。在商业数据分析软件方面，Matlab提供了用于算法开发、数据可视化、数据分析以及数值计算的高级编程语言和交互式环境，应用越来越广泛。

在分布式环境下，开源社区提供的大数据分析软件成为主流。Hadoop Mahout、Spark MLlib是典型代表。借助于Hadoop、Spark框架，通过典型的机器学习算法和模型，分布式并行挖掘迎刃而解。比如Tensor Flow、Caffe、CNTK、MXNet……等，用于深度神经网络模型的构建及训练，支持分布式计算和异构计算正在被广泛接纳。

云计算环境下的大数据智能需要资源（算力、安全、存储等）到架构（虚拟化和自动化等）的全面弹性。典型的代表是Azure ML（Azure Machine Learning），这是微软提供的一款机器学习分析云服务软件，包含有大量的通用机器学习分析算法，还提供了交互式的图形化开发界面。类似的还包括Aliyun PAI等。这些基于云环境的大数据系统通常包括大数据采集、处理规则，开放基于应用程序编程接口（API），用户自主扩充算法库。

（2）专用型大数据智能分析软件

专用型智能分析软件针对特定自然学科下的细分专业，适合对该专业领域的科学数据进行专门处理、计算和分析。如高能物理领域数据分析的典型工具ROOT，是欧洲核子研究中心（CERN）开发的开源软件，主要用于粒子物理实验的数据处理、科学计算和可视化分析，提供数学及统计工具、并行处理、神经网络及多变量分析软件包。AstroML是面向天文领域的机器学习和数据挖掘算法包。GoogleEarth Engine是Google提供的对大量全球尺度地球科学资料（尤其是卫星数据）进行在线可视化分析处理的云平台。IBM沃森医疗集团的认知人工智能系统Watson，基于大数据和人工智能自然语言处理技术，短时间内能自学习数十万篇医学论文，从而找出癌症治疗的关键基因，为个性化健康检测和精准医疗提供了强大的智能技术手段。此外，在金融、交通、气象等领域也出现了一大批专用型的基于大数据的智能分析平台。它们大大降低决策过程中的不确定性，并通过智能技术进行前瞻预测，不管是物联网、云计算、大数据、人工智能，还是DT（Data Technology），其核心都是为基于大数据智能分析这一目标提供服务。

（二）五大发展趋势：AI赋能、一体化、云服务、开放共享和可定制。

毋庸置疑，移动互联网的兴起成为大数据时代分水岭。移动互联网之前的PC时代、互联网时代，传统的企业信息化系统最多也就是小数据或结构化数据。进入移动互联网时代后，随着android和iphone智能手机的普及，让每个人都成为了数据产生器，甚至不需要你输入，你的位置，关注，社交……等都在产生海量的数据。还有越来越广泛的企业移动应用，所产生的数据量惊人。从技术角度讲，移动互联网属于物联网技术范畴，物联网的发展不只是让人和智能手机作为数据生产者，更是能让越来越多机器、电子设备、传感器、甚至道路建筑本身都是数据发生器，万物互联数字化的深度和广度在进一步拓展。

未来已来。从农业时代、工业时代、信息时代，再到智能时代。无论是物联网、云计算、人工智能、区块链，一个比一个热，一个比一个快，一个比一个深入，这都是ICT发展的大势，其内在的逻辑联系和发展趋势使然直指大数据智能分析。大数据智能分析系统将推动社会演化速度不断加快。

大数据智能分析软件（无论是工具系统，还是平台方案）除了提供相关的基础运算操作和传统算法，还需要支持深度学习、自然语言理解、知识图谱等新型人工智能技术的集成应用，为人工智能模型的训练、测试、部署和运行提供全生命周期的工具化支持。

一体化主要体现为大数据智能分析软件需要提供简单易用的“拼装式”可视化挖掘分析环境，并利用高质量、可复用的模型与算法库，进行科学大数据分析模型的创新设计，实现涵盖数据源集成、代码编辑、流程设计、模型算法复用以及执行与可视化的一体化支撑。

云服务化的科学大数据智能分析软件不需要本地进行软件安装和维护。不仅有统一门户界面，还需要将模型、算法以及数据源以在线API的形式进行共享和复用。

开放共享将汇聚跨领域的共性模型，形成类型丰富、性能优异的模型和算法库，这将成为降低领域交叉综合分析模型开发难度、提升开发效率的基础。

一个理想的科学大数据智能分析软件应该支持数据、模型算法和可视化视图等多个方面的领域定制与扩展，支持领域科学家以及领域内的软件工程师进行特有组件的开发。

大数据智能分析与应用的终极目标是利用一系列智能算法和信息处理技术实现海量数据条件下的人类深度洞察和决策智能化，最终走向普适的人机智能融合!这不仅是传统信息化管理的扩展延伸，也是人类社会发展管理智能化的核心技术驱动力。

更多信息，请查看

中国技术转让网

中科咨询