机器学习训练模型用的数据集和测试数据用的训练集互斥,往往通过测试集的测试误差来近似模型的泛化能力,根据模型的泛化能力评价模型的优劣。 误差是学习器的实际预测输出与样本的真实输出之间的差异。 训练误差,或称经验误差,是学习器在训练集上的误差。 学习器在在新样本上的误差,称为泛化误差。 模型评价主要是根据训练误差和泛化误差,来选择最优的模型及其参数的过程。
6个评价指标:
对分类模型评价,一般是将样本的预测类别与真实类标签对比,统计同一类别样本被正确划分到该类别的概率,以及错误地划分为其它类别的概率。或者统计划分为某个类别的样本中,真实属于该类别与错误地被划分到该类别的概率。