基本概念
学习:一个系统在完成一项任务T的时候,使用了数据E,使得在评判标准P下,性能获得了提升,这就是学习
统计学习的对象是数据,关于统计学习的基本假设是:同类数据服从一定的统计规律性,即数据都是独立同分布的...S折交叉验证方法(S-fold cross validation):随机地将数据切分为S个互不相交的子集,然后利用S-1个子集的数据训练模型,利用余下的1个子集作为测试集.测试集的选择有S中情况,所以这种验证可以进行...当数据量特别少的时候,我们将每个数据分为一个子集,即如果有N个数据,则S=N,这种方法称为留一交叉验证(Leave-one-out cross validation)....生成式方法应用更广,适用于各种机器学习问题,而且收敛速度快,而且对于有隐变量的情况,也适用.但由于需要建模XY的联合分布,所以不能进行降维处理.
常见的生成式模型有朴素贝叶斯法和隐马尔科夫模型....常见的判别模型有KNN,感知机,决策树,逻辑斯蒂回归,最大熵模型,SVM,AdaBoost,条件随机场等.
判别式方法只能用于分类和回归问题,可以对X进行降维处理.