信息增益 计算使用的数据集 S
V . 信息增益 计算公式 已知条件
VI . 信息增益 总熵 计算公式
VII . 信息增益 每个属性的熵 计算公式
VIII . 信息增益 计算公式
IX ....决策树中的信息增益 : 属性的 信息增益 越大 , 就越能将分类效果达到最大 ;
如 : 想要从用户数据集中找到是否能买奢侈品的用户 , 先把高收入群体划分出来 , 将低收入者从数据集中去除 , 这个收入水平的属性...总熵 : 不考虑 输入变量 ( 属性 / 特征 ) , 为数据集 S 中的某个数据样本进行分类 , 计算出该过程的熵 ( 不确定性 ) , 用 Entropy(S) 表示 ;
2 ....总熵计算 :
① 总熵 : 计算每个属性的信息增益 , 先要使用
Entropy(S)
公式计算出总熵 ;
① 预测属性分析 : 最后预测的属性是 是否购买电脑 , 有两个取值 , 是 或 否 ,...递归操作 : 每个步骤先选择属性 , 选择好属性后 , 根据 总树 ( 子树 ) 的树根属性划分训练集 ;
① 选择属性 : 递归由上到下决定每一个节点的属性 , 依次递归构造决策树 ;
② 数据集划分