决策树模型概述

1. 决策树模型概述

1.1 决策树模型

决策树模型 是一个模拟人类决策过程思想的模型,以找对象为例，一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：

决策树基于树结构进行决策

那个内部结点对应于某个属性上的测试

每个分支对应于该测试的一种可能结果 即该属性的某个取值

每个叶结点对应于一个预测结果

学习过程：通过对训练样本的分析来确定划分属性（即内部节点所对应的属性）

预测过程：将测试示例从根节点开始，沿着划分属性所构成的判定测试序列下行，直到叶结点

1.2 决策树简史

第一个决策树算法：CLS(Concept Learning System)

使决策树受到关注了，成为机器学习主流技术的算法：ID3

最常用的决策树算法：C4.5

可以用于回归任务的决策树算法:CART (Classification and Regression Tree)

基于决策树的最强大算法: RF (Random Forest)

要点总结

决策树模型

沿着树结构根据属性进行下行判断

分析训练样本,确定划分属性

属性,测试预测结果

基于树的结构进行决策

训练过程

预测过程

决策树简史

CLS

J.R.Quinlan 1979 ID3

J.R.Quinlan 1993 C4.5

L.Breiman 1984 CART

L.Breiman 2001 RandomForest