深度文章：初识智能数据分析

一、什么是智能数据分析？

智能数据分析，它是指运用统计学、模式识别、机器学习、数据抽象等数据分析工具从数据中发现知识的分析方法。智能数据分析的目的是直接或间接地提高工作效率，在实际使用中充当智能化助手的角色，使工作人员在恰当的时间拥有恰当的信息，帮助他们在有限的时间内作出正确的决定。

智能数据分析的目的是直接或间接地提高工作效率，在实际使用中充当智能化助手的角色，使工作人员在恰当的时间拥有恰当的信息，帮助他们在有限的时间内作出正确的决定。信息系统中积累的大量数据，其原始数据的价值很小，只有通过智能化分析方法抽取其中的精华，才能从数据中挖掘出其中的价值，为人类所利用。

二、智能数据分析分类

智能数据分析方法主要为两种类型，一是数据抽象(DataAbstraction) ;二是数据挖掘(Date Mining)。

数据抽象：数据抽象结构是对现实世界的一种抽象从实际的人、物、事和概念中抽取所关心的共同特性，忽略非本质的细节把这些特性用各种概念精确地加以描述这些概念组成了某种模型。简而言之就是在忽略类对象间存在差异的同时，展现了对用户而言最重要的特性。三种常用的抽象：分类、聚集、概括。

数据挖掘：一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。智能数据分析方法包括分类、估计、预测、相关性分组或关联规则，聚类，复杂数据类型挖掘等。

三、智能数据分析的常见方法

智能分析技术在数据的处理数据中具有非常重要的意义，主要包括以下几类常见方法：

决策树：在已知各种情况发生概率的基础上, 通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险, 判断其可行性的决策分析方法,是直观运用概率分析的一种图解法,它是建立在信息论基础之上对数据进行分类的一种方法。首先通过一批已知的训练数据建立一棵决策树, 然后采用建好的决策树对数据进行预测。决策树的建立过程是数据规则的生成过程,因此,这种方法实现了数据规则的可视化, 其输出结果容易理解, 精确度较好, 效率较高, 缺点是难于处理关系复杂的数据。常用的方法有分类及回归树法、双方自动交互探测法等。

关联规则：是形如X→Y的蕴涵式，其中， X和Y分别称为关联规则的先导(antecedent或left-hand-side, LHS)和后继(consequent或right-hand-side, RHS) 。其中，关联规则XY，存在支持度和信任度。这种方法主要是用于事物数据库中,通常带有大量的数据,当今使用这种方法来削减搜索空间。

粗糙集：是继概率论、模糊集、证据理论之后的又一个处理不确定性的数学工具。用粗糙集理论进行数据分析主要有以下优势: 它无需提供对知识或数据的主观评价, 仅根据观测数据就能达到删除冗余信息;非常适合并行计算、提供结果的直接解释。如下图，X称为R的粗糙集。

模糊数学分析：用模糊(Fuzzy sets)数学理论来进行智能数据分析。现实世界中客观事物之间通常具有某种不确定性。越复杂的系统其精确性越低,也就意味着模糊性越强。在数据分析过程中, 利用模糊集方法对实际问题进行模糊评判、模糊决策、模糊预测、模糊模式识别和模糊聚类分析, 这样能够取得更好更客观的效果。

人工神经网络：一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。该模型由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值, 称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式, 权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近, 也可能是对一种逻辑策略的表达。

混沌分型理论：混沌（Chaos）和分形（Fractal）理论是非线性科学中的两个重要概念, 研究非线性系统内部的确定性与随机性之间的关系。混沌描述的是非线性动力系统具有的一种不稳定且轨迹局限于有限区域但永不重复的运动, 分形解释的是那些表面看上去杂乱无章、变幻莫测而实质上潜在有某种内在规律性的对象,因此,二者可以用来解释自然界以及社会科学中存在的许多普遍现象。其理论方法可以作为智能认知研究、图形图像处理、自动控制以及经济管理等诸多领域应用的基础。

自然计算分析：这种数据分析方法根据不同生物层面的模拟与仿真, 通常可以分为以下三种不同类型的分析方法: 一是群体智能算法, 二是免疫算术方法,三是DNA算法。群体智能主要是对集体行为进行研究,免疫算法具有多样性, 经典的主要有反向、克隆选择等,DNA 算法主要使属于随机化搜索方法, 它可以进行全局寻优,在实际的运用中一般都能获取优化的搜索空间,在此基础上还能自动调整搜索方向,在整个过程中都不需要确定的规则，当前DNA算法普遍应用于多种行业中, 并取得了不错的成效。

温馨提示：