大数据的挖掘 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

【数据挖掘】详细解释数据挖掘中的 10 大算法（下）

举个 AdaBoost 算法的例子：我们开始有3个弱学习器，我们将在一个包含病人数据的数据训练集上对他们做10轮训练。数据集里包含了病人的医疗记录各个细节。...只有当新的未被分类的数据输入时，这类算法才会去做分类。但在另一方面，积极学习法则会在训练中建立一个分类模型，当新的未分类数据输入时，这类学习器会把新数据也提供给这个分类模型。...你可能会怀疑…kNN 是怎么计算出最近的是什么？对于连续数据来说，kNN 使用一个像欧氏距离的距离测度，距离测度的选择大多取决于数据类型。有的甚至会根据训练数据学习出一种距离测度。...关于 kNN 距离测度有更多的细节讨论和论文描述。对于离散数据，解决方法是可以把离散数据转化为连续数据。...第四步：计算其他类时也做类似的计算：因为0.252大于0.01875，Naive Bayes 会把长形，甜的还是黄色水果分到香蕉的一类中。这是个监督算法还是非监督算法呢？

1.4K6 0

【数据挖掘】详细解释数据挖掘中的 10 大算法（上）

在一份调查问卷中，三个独立专家小组投票选出的十大最有影响力的数据挖掘算法，今天我打算用简单的语言来解释一下。...分类器是进行数据挖掘的一个工具，它处理大量需要进行分类的数据，并尝试预测新数据所属的类别。举个例子吧，假定一个包含很多病人信息的数据集。...只有这样之后 SVM 才有能力对新数据进行分类。为什么我们要用 SVM 呢？ SVM 和 C4.5大体上都是优先尝试的二类分类器。根据“没有免费午餐原理”，没有哪一种分类器在所有情况下都是最好的。...关联规则学习是学习数据库中不同变量中的相互关系的一种数据挖掘技术。...在数据挖掘领域，最大期望算法（Expectation-Maximization,EM）一般作为聚类算法（类似 kmeans 算法）用来知识挖掘。

1.2K5 1

您找到你想要的搜索结果了吗？

是的

没有找到

数据挖掘的九大定律

数据挖掘通用流程CRISP-DM的缔造者之一Tom Khabaza曾总结了在数据挖掘上的九大定律，如下所示：（1）Business Goals Law：每个数据挖掘解决方案的根源都是有商业目的的。...（2）Business Knowledge Law：数据挖掘过程的每一步都需要以商业信息为中心。（3）Data Preparation Law：数据挖掘过程前期的数据准备工作要超过整个过程的一半。...对于数据挖掘者来说没有免费的午餐，数据挖掘的任何一个过程都是来之不易的。（5）Watkins’ Law：此定律以此命名是因为David Watkins首次提出这个概念。...（8）Value Law：数据挖掘模式的精准和稳定并不决定数据挖掘过程的价值，换句话说技术手段再精妙，没有商业意义和合适的商业应用是没有价值的。...上面这九条其实归根到底就是一条，商业决定数据挖掘。数据挖掘各类技术和算法的飞速发展不能让我们偏离以商业行为为核心的方向，只是纯粹为了追求高深的技术而忽略或损害到商业目的，就本末倒置了。

7323 0

大咖说数据挖掘的方法

1.1 什么是数据挖掘数据挖掘就是对存在的数据集进行分析和总结而产出有价值信息的过程。...有时数据挖掘也用来泛指一种方法，即数据挖掘是对数据进行处理，并从数据中分析、提炼、总结出有价值的信息的方法。数据挖掘是大数据时代必然的产物，是对数据进行利用的办法，也是大数据时代最具有挑战性的工作。...我们在数据采集、存储和传输领域已经具备了先进的技术，能够采集和存储大量的数据，可是在数据挖掘和应用领域还知之甚少，数据挖掘技术是未来企业重要的技术。...包括百度在内，其采集了大量的数据，也开发了大量的数据应用，但相对于其所拥有的数量级，其数据的挖掘和应用仍然是非常少的。数据本身没有什么商业价值，从数据中挖掘出来的商业洞察和基于该洞察的应用才有价值。...数据挖掘作为一种数据应用的方法，要在使用过程中不断完善和改进，不断创新，及时跟进大数据时代数据量级的剧增。 1.2 常见的数据挖掘方法有哪些现在所拥有的数据挖掘的方法不是很多。

7992 0

数据挖掘之用户细分的三大维度

外在属性如用户的地域分布，用户的产品拥有，客户的组织归属——企业用户、个人用户、政府用户等。通常，这种分层最简单、直观，数据也很容易得到。...我们能知道的只是某一类用户(如大企业客户) 较之另一类用户(如政府客户) 可能消费能力更强。 2....内在属性内在属性行为客户的内在因素所决定的属性，比如性别、年龄、信仰、爱好、收入、家庭成员数、信用度、性格、价值取向等。 3....消费行为分类在不少行业对消费行为的分析主要从三个方面考虑，即所谓RFM：最近消费、消费频率与消费额.　这些指标都需要在账务系统中得到。但并不是每个行业都能适用。...即使对于现有用户，消费行为分类也只能满足企业用户分层的特定目的。如奖励贡献多的用户。至于找出用户中的特点为市场营销活动找到确定对策，则要做更多的数据分析工作。

1.1K3 0

【干货】数据挖掘的10大分析方法

； 2)在树构造过程中进行剪枝； 3)能够完成对连续属性的离散化处理； 4)能够对不完整数据进行处理。...4.TheApriorialgorithm Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。...其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。...将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。...在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

1.8K8 0

数据挖掘10大算法详细介绍

想初步了解下怎样数据挖掘，看到一篇不错的文章转载过来啦~ 转自:http://blog.jobbole.com/89037/ 在一份调查问卷中，三个独立专家小组投票选出的十大最有影响力的数据挖掘算法...分类器是进行数据挖掘的一个工具，它处理大量需要进行分类的数据，并尝试预测新数据所属的类别。举个例子吧，假定一个包含很多病人信息的数据集。...Orange 是一个用于数据挖掘的开源数据可视化和分析工具，它的决策树分类器是用 C4.5实现的。...因为开始需要使用一个数据集让 SVM学习这些数据中的类型。只有这样之后 SVM 才有能力对新数据进行分类。为什么我们要用 SVM 呢？ SVM 和 C4.5大体上都是优先尝试的二类分类器。...关联规则学习是学习数据库中不同变量中的相互关系的一种数据挖掘技术。

2K4 0

【数据挖掘】PageRank 为什么跻身数据挖掘十大经典算法？

数据人有话说 Google 的 PageRank 曾是主宰 Google 排名算法的一个主要因素，一度我们看一个网站的排名，往往会先去分析它的 PageRank 是多少。...前方高能预警——主要内容适合技术宅、程序猿、数学爱好者，以及想要挑战自己的数字恐惧症患者阅读。 1. 前言这系列文章主要讲述2006年评出的数据挖掘10大算法（见图1）。...由这个思想，可以得到一个直观的公式： ? (1) R(x)表示x的PageRank，B(x)表示所有指向x的网页。公式(1)的意思是一个网页的重要性等于指向它的所有网页的重要性相加之和。...图3 观察矩阵M可发现，M的第I行表示第I个网页指向的网页，M的第J列表示指向J的网页。如果将M的每个元素都除于所在行的全部元素之和，然后再将M转置（交换行和列），得到MT。...MT的每一行的全部元素之和不就正好是公式(3)中的吗？

1.2K9 0

【数据挖掘】常用的数据挖掘方法

数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程利用数据挖掘进行数据分析常用的方法主要有分类...、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。...聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。...在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据...意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。 ⑦　Web页挖掘。

2.9K6 0

数据挖掘中的十大实用分析方法

商业上的应用在藉由顾客的购买行为来了解是什么样的顾客以及这些顾客为什么买这些产品，找出相关的联想(association)规则，企业藉由这些规则的挖掘获得利益与建立竞争优势。...经由对共同发生矩阵(co-occurrence matrix)的探讨挖掘出联想规则。...7.OLAP分析严格说起来，OLAP(On-Line Analytic Processing;OLAP)分析并不算特别的一个数据挖掘技术，但是透过在线分析处理工具，使用者能更清楚的了解数据所隐藏的潜在意涵...若面对新的例证，神经网络即可根据其过去学习的成果归纳后，推导出新的结果，乃属于机器学习的一种。数据挖掘的相关问题也可采类神经学习的方式，其学习效果十分正确并可做预测功能。...文章来源：36大数据

1.1K6 0

数据挖掘中易犯的10大错误

编译：IDMer（数据挖掘者） http://www.salford-systems.com/doc/elder.pdf 按照Elder博士的总结，这10大易犯错误包括： 0....认真、仔细、有条理是数据挖掘人员的基本要求。预报（Forecast）示例：预报芝加哥银行在某天的利率，使用神经网络建模，模型的准确率达到95%。但在模型中却使用了该天的利率作为输入变量。...给数据加上时间戳，避免被误用。 6. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？...，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。...解决方法：把多个模型集装起来可能会带来更好更稳定的结果。来自：数据挖掘者链接：http://idmer.blog.sohu.com/117134261.html

6105 0

数据挖掘领域的十大经典算法

国际权威的学术组织the IEEE International Conference on Data Mining（ICDM）2006年12月评选出了数据挖掘领域的十大经典算法：C4.5、k-means...能够完成对连续属性的离散化处理。能够对不完整的数据进行处理C4.5算法有如下优点：产生的分类规则利于理解，准确率高。...The Apriori algorithmApriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。...其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。...将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

1511 0

【数据挖掘】金融行业的数据挖掘之道

工商银行文本挖掘技术应用探索分享工商银行在大家传统的印象当中是一个体形非常庞大但是稳步前行的形象，但是近些年来在大数据的挑战下工商银行积极应对外界变化，做一些转型。...其中一个举措就是通过数据应用驱动业务变革。今天我所分享的主题就是和银行的客户服务相关的，如何应用文本挖掘技术洞察客户的心声。...结合文本挖掘的客户服务分析流程在结合了文本挖掘技术之后有了一些流程变化，不仅对结构化数据做分析，同时也能够从客户反馈的文本当中提取出客户的热点意见，再把热点去和结构化数据做关联分析，就能得到更加丰富的分析场景...首先把客户个体意见和客户星级数据做关联，这样就能看到不同星级之间的客户关心的不同问题在哪里，其中我们看到像七星级客户和三星级客户关注的问题有非常大的差异，其中还有五星级客户甚至成为一个孤岛，和其它类型的客户关注的点都是完全不同的...第三个问题，尤其是针对传统行业来说的，因为大数据商业的概念其实已经被炒的像一个神话一样，大家都在说，其实也很少人知道应该怎么去做，经常我们得到一些需求都是特别宏观、特别大的，其实都不太容易落地，从我们实际落地的角度来看

1.2K5 0

数据挖掘十大经典算法

数据挖掘十大经典算法一、 C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3 算法....二、数据挖掘十大经典算法(2) k-means 术语“k-means”最早是由James MacQueen在1967年提出的，这一观点可以追溯到1957年 Hugo Steinhaus所提出的想法。...四、数据挖掘十大经典算法(4)Apriori Apriori算法是种最有影响的挖掘布尔关联规则频繁项集的算法。它的核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。...八、数据挖掘十大经典算法(8) kNN 1、K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。...九、数据挖掘十大经典算法(9) Naive Baye 简介贝叶斯分类的基础是概率推理，就是在各种条件的存在不确定，仅知其出现概率的情况下，如何完成推理和决策任务。概率推理是与确定性推理相对应的。

1.2K5 0

【数据挖掘】数据挖掘的九条定律

20世纪90年代晚期发展的跨行业数据挖掘标准流程，逐渐成为数据挖掘过程的一种标准化过程，被越来越多的数据挖掘实践者成功运用和遵循。...虽然‘跨行业数据挖掘标准流程’能够指导如何实施数据挖掘，但是它不能解释数据挖掘是什么或者为什么适合这样做。在本文中将阐述提出数据挖掘的九种准则或“定律”以及另外其它一些熟知的解释。...开始从理论上来解释数据挖掘过程。第一，目标律：业务目标是所有数据解决方案的源头。定义了数据挖掘的主题：数据挖掘关注解决业务业问题和实现业务目标。...这是数据预处理重要的原因，并且在数据挖掘过程中占有如此大的工作量，这样数据挖掘者可以从容地操纵问题空间，使得容易找到适合分析他们的方法。有两种方法“塑造”这个问题空间。...有五种因素说明试验对于寻找数据挖掘解决方案是必要的：数据挖掘项目的业务目标定义了兴趣范围(定义域)，数据挖掘目标反映了这一点; 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的

1.3K5 0

【数据挖掘】数据挖掘总结 ( 数据挖掘相关概念 ) ★★

用于挖掘的数数据源必须真实 : ① 存在的真实数据 : 数据挖掘处理的数据一般是存在的真实数据 , 不是专门收集的数据 ; ② 数据收集 : 该工作不属于数据挖掘范畴 , 属于统计任务 ; 2 ....未知结果 : ① 挖掘结果 : 数据挖掘挖掘出的知识是未知的 , 目的是为了发掘潜在的知识 , 模式 ; 这些知识只能在特定环境下可以接收 , 可以理解 , 可以运用 ; ② 知识使用 : 数据挖掘出的知识只能在特定领域使用..., 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ; 参考博客 : 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 ) 二、数据挖掘组件化思想...数据挖掘任务分类 : 根据数据挖掘的目标 , 可以将数据挖掘任务分为以下几类 : ① 模式挖掘 , ② 描述建模 , ③ 预测建模 ; 描述建模和预测建模又称为模型挖掘 ; ① 模式挖掘 : 如..., 性能会很低 ; 确定模型 / 模式结构和评分函数 , 是人来完成 , 优化评分函数的过程是计算机完成 ; 参考博客 : 【数据挖掘】数据挖掘算法组件化思想 ( 模型或模式结构 | 数据挖掘任务

4.7K0 0

10大数据挖掘算法及其简介

AiTechYun 编辑：xiangxiaoshan 我希望你能把这篇文章作为一个跳板，学习更多关于数据挖掘的知识。算法如下: 1. C4.5 2. k-means 3. 支持向量机 4....分类器是数据挖掘中的一个工具，它取一堆数据来表示我们想要分类的东西，并试图预测新数据属于哪个类。例如，假设在患者数据集中。...4.Apriori Apriori算法学习关联规则，并应用于包含大量事务的数据库。关联规则学习是一种数据挖掘技术，用于学习数据库中变量之间的相互关系和关系。例如，假设我们有一个超市交易数据库。...你可以将数据库看作是一个巨大的电子表格，其中每一行代表一个客户交易，每一列都代表着一种不同的食品。 5.EM 在数据挖掘中，期望最大化(EM)通常被用作知识发掘的聚类算法(比如k – means)。...在统计数据中，EM算法迭代并优化了查看观测数据的可能性，同时评估未观测变量的统计模型参数。

9267 0

10大数据挖掘算法及其简介

我希望你能把这篇文章作为一个跳板，学习更多关于数据挖掘的知识。算法如下: 1. C4.5 2. k-means 3. 支持向量机 4. Apriori 5. EM 6. PageRank 7....分类器是数据挖掘中的一个工具，它取一堆数据来表示我们想要分类的东西，并试图预测新数据属于哪个类。例如，假设在患者数据集中。...4.Apriori Apriori算法学习关联规则，并应用于包含大量事务的数据库。关联规则学习是一种数据挖掘技术，用于学习数据库中变量之间的相互关系和关系。例如，假设我们有一个超市交易数据库。...你可以将数据库看作是一个巨大的电子表格，其中每一行代表一个客户交易，每一列都代表着一种不同的食品。 5.EM 在数据挖掘中，期望最大化(EM)通常被用作知识发掘的聚类算法(比如k – means)。...在统计数据中，EM算法迭代并优化了查看观测数据的可能性，同时评估未观测变量的统计模型参数。

1K13 0

【数据挖掘】数据挖掘特异群组挖掘的框架与应用

特异群组挖掘与聚类、异常挖掘都属于根据数据对象的相似性来划分数据集的数据挖掘任务，但是，特异群组挖掘在问题定义、算法设计和应用效果方面不同于聚类和异常等挖掘任务。...1、引言数据挖掘技术是数据开发技术的核心[1]。其中，挖掘高价值、低密度的数据对象是大数据的一项重要工作，甚至高价值、低密度常常被用于描述大数据的特征[2]。...特异群组挖掘、聚类和异常检测都是根据数据对象间的相似程度来划分数据对象的数据挖掘任务，但它们在问题定义、算法设计和应用效果上存在差异[5]。...；三是，集体异常（collective anomalies）挖掘任务也不同于特异群组挖掘，因为集体异常只能出现在数据对象具有相关性的数据集中，其挖掘要求探索数据集中的结构关系[9]。...值得指出的是，聚类、特异群组挖掘、异常检测都是基于数据对象的相似性来挖掘数据对象的。

1.8K10 0

【数据挖掘】图数据挖掘

那么图数据挖掘是干什么的呢？难道是开着挖掘机来进行挖掘？还是扛着锄头？下面讲讲什么是图数据挖掘。...一、什么是图数据挖掘这个话题感觉比较沉重，以至于我敲打每个字都要犹豫半天，这里我说说我对图数据挖掘的理解。数据是一个不可数名字，那么说明数据是一个没有边界的东西。...那么不难理解，数据挖掘就是挖掘数据里面的“宝贝”，图数据挖掘，就是以图的结构来存储、展示、思考数据，以达到挖掘出其中的“宝贝”。那这个“宝贝”是什么？...这个有点主观意识来理解了，“宝贝”这个词本身就带有主观色彩，而没有一个客观的答案，不像是美女大胸、翘臀、高挑、皮肤白皙、脸蛋好看等一系列标准。那么如何理解图数据里面的“宝贝”呢？...这就是我认为的图数据挖掘。从学术上讲，图数据挖掘分为数据图，模式图两种。至于这两个类型的区别，由于很久没有关注这块，所以只能给出一个字面意义上的区别。

2.7K8 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭