SVM学习笔记

1.SVM学习笔记

2.支持向量机学习笔记

2.1Rosenblatt感知机

从初始权重w_0 (通常w_0=0 )开始，每次训练时调整权重向量和偏置

如果存在超平面能够正确分类训练数据，并且这个程序保证收敛。这种抢矿下线性可分。如果这样的超平面不存在，则数据成为不可分。

感知机算法（原始形式）解释

这张图详细展示了感知机算法的原始形式流程，这是一个经典的线性二分类算法。以下是算法的分步解释：

1. 初始化阶段 python 运行 复制 w₀ ← 0; b₀ ← 0; k ← 0 R ← max₁≤i≤l ‖x_i‖ 权重(w)和偏置(b)：初始化为零向量和零值 错误计数器(k)：初始化为0，记录权重更新次数 最大范数(R)：计算数据集中所有样本的最大范数（模长），用于标准化更新幅度
2. 主要循环（重复直到完美分类） python 运行 复制 重复： for i=1 to l (遍历所有样本) if y_i(wₖ·x_i + bₖ) ≤ 0 then (分类错误条件) 分类条件：y_i(w·x_i + b) ≤ 0 表示样本被错误分类 其中 y_i ∈ {-1,1} 是样本的真实标签
3. 权重更新（发生错误分类时） python 运行 复制 wₖ₊₁ ← wₖ + η y_i x_i bₖ₊₁ ← bₖ + η y_i R² k ← k + 1 权重更新：w 沿错误样本方向调整 η：学习率(步长)，控制更新幅度 y_i x_i：指向正确分类方向的向量 偏置更新：b 根据最大范数 R 调整 R² 保证更新量级一致 错误计数：k 记录总更新次数
4. 终止条件 python 运行 复制 直到在for循环中没有错误发生 当遍历完所有样本都正确分类时停止 线性可分数据保证算法必然收敛
5. 返回结果 python 运行 复制 返回 (wₖ, bₖ) (k是错误次数) 输出最终决策边界参数：权重向量 w 和偏置 b k 记录算法收敛前的迭代次数 算法核心特点 线性可分要求：仅适用于线性可分数据集 错误驱动学习：仅错误分类时更新参数 几何解释： 每次更新将决策边界向误分类样本推进 更新方向：w + η y_i x_i 指向样本正确分类侧 收敛性： 更新次数 k 有上界 (Novikoff定理) 线性可分数据集必收敛 R的作用：标准化更新幅度，避免因特征尺度差异影响收敛 该算法是神经网络的基础，奠定了现代机器学习参数更新的基本范式："错误驱动+梯度方向调整"的核心思想至今广泛使用。