3分钟理解 支持向量机中最出神的第一笔

之前推送过SVM，今天，又有了更容易理解SVM的目标函数和约束怎么得来的思路，因此，记录下来，与大家一起分享。

01

设 g(x) = wx+b，则样本点到g(x)的距离为：

|g(x)| / ||w||

SVM 建立决策边界时，只关心距离决策边界最近的那两个样本点，然后取距离它们都最远的决策边，转化为数学公式为：

max(min(|g(x)| / ||w||))

将它化简为：

max( 1/||w||)

s.t. yi*g(xi) >=1

02

怎么想出来的？

如果设 |g(x)| >= 1 ，则 min( |g(x)| / ||w|| ) = 1 / ||w|| , 进一步地，max(min(|g(x)| / ||w||)) ，可以化简为：

max ( 1 / ||w|| )

那么， |g(x)| >= 1 ，如何化简为 yi * g(xi) >= 1 呢？ 注意到 yi 是 第 i 个样本的标签值，要么为 1， 要么为 -1. 当 g(x) >= 0，代表为正例，即 yi = 1，当 g(x) < 0，代表负例，即 yi = -1，因此，|g(x)| = yi * g(x) >= 1.

OK. 接下来便是求解如下最优化目标和约束的优化问题：

max( 1/||w||)

s.t. yi*g(xi) >=1