支持向量机的出发点是解决线性可分和近似线性可分的问题。在这个模型中,有一个很重要的隐含假设:每个数据的权重并不相同。除去少数几个支持向量(靠近分离超平面的数据),其他数据的权重其实等于0。也就是说,支持向量机在训练时并不会考虑所有数据,而只关心很难被“直线”分开的“异常点”。
为了使支持向量机能处理非线性分类问题,学术界引入了核函数这个概念。核函数能够高效地完成空间变化,特别是从低维度空间到高维度空间的映射,能将原本非线性问题变换为高维空间里的线性问题。核函数是一个很通用的方法,在监督式和非监督式学习里都能看到它的身影。