机器学习基础入门（第二篇）：机器学习的分类方法

一、前言

在上一篇文章中，我们初步了解了什么是机器学习，以及它的基本工作流程。机器学习的本质是通过数据和算法，让计算机从经验中学习规律，并应用到预测或决策中。

然而，机器学习并不是单一的一种方法，而是一个庞大的体系。不同的任务目标、不同的数据特点、不同的算法思路，都会形成各具特色的学习方法。对于初学者来说，最重要的第一步，就是搞清楚机器学习的分类方法。

本文将从三个主要角度来梳理机器学习的分类体系： 按数据标注情况划分 按任务目标划分 按模型性质划分

通过这些分类，我们不仅能更清晰地理解机器学习的全貌，还能为后续选择合适的算法打下基础。

二、按数据标注情况划分

在机器学习中，数据是否带有“标签”（也就是正确答案），是区分不同学习方式的关键标准。

1. 监督学习（Supervised Learning）

（1）概念

监督学习就是给机器一组“带标签的数据”，让它学会从输入到输出的映射关系。 例如，输入是房屋的面积和地段，输出是房价；输入是一张图片，输出是“猫”还是“狗”。

（2）应用场景

• 分类任务：垃圾邮件识别、手写数字识别、疾病诊断。
• 回归任务：房价预测、销量预测、金融风险建模。

（3）常见算法

• 线性回归、逻辑回归
• 决策树、随机森林
• 支持向量机（SVM）
• 神经网络、深度学习

监督学习是目前应用最广的机器学习方法。

2. 无监督学习（Unsupervised Learning）

（1）概念

与监督学习不同，无监督学习的数据没有标签。模型需要自己去发现数据中隐藏的结构或规律。

D={x1,x2,...xn}

目标是挖掘出数据的潜在模式，例如“哪些样本相似”。

（2）应用场景

• 聚类分析：客户分群，划分消费习惯相似的群体。
• 降维与特征提取：将高维数据压缩到低维空间，便于可视化和后续建模。
• 异常检测：发现信用卡欺诈、网络攻击。

（3）常见算法

• K-Means 聚类
• 层次聚类
• 主成分分析（PCA）
• 自编码器（Autoencoder）

3. 半监督学习（Semi-Supervised Learning）

（1）概念

现实中，获取有标签的数据往往很昂贵，而无标签数据却很多。半监督学习就是结合少量有标签数据和大量无标签数据来训练模型。

（2）应用场景

• 医学影像：标注一张 CT 片需要专业医生，成本高。
• 语音识别：少量人工标注语音 + 大量未标注语音数据。

（3）常见方法

• 自训练（Self-training）：模型先用有标签数据训练，再对无标签数据打“伪标签”，不断迭代。
• 一致性正则化（Consistency Regularization）：让模型在输入有小扰动时，预测结果保持一致。

4. 强化学习（Reinforcement Learning）

（1）概念

强化学习与前面三类不同，它不依赖于数据集中的标签，而是通过“试错”和“奖励”来学习最优策略。

在强化学习中：

• 智能体（Agent）：学习者或决策者。
• 环境（Environment）：智能体交互的外部世界。
• 状态（State）：当前环境的描述。
• 动作（Action）：智能体能做的选择。
• 奖励（Reward）：智能体采取动作后得到的反馈。

目标是学习一个策略 (\pi)，使得智能体在长期内获得的奖励最大化。

（2）应用场景

• 游戏 AI（AlphaGo、Dota2 AI）
• 自动驾驶
• 智能机器人

三、按任务目标划分

除了数据标注情况外，我们也可以按照任务本身的目标来分类。

1. 分类（Classification）

• 目标：将输入划分到有限的类别中。
• 例子：
  • 医学诊断：病人是否患病（是/否）。
  • 图像识别：猫 / 狗 / 马 / 鸟。
• 常用算法：逻辑回归、决策树、支持向量机、神经网络。

2. 回归（Regression）

• 目标：预测连续值。
• 例子：预测明天的气温、预测房价、预测用户消费金额。
• 常用算法：线性回归、岭回归、神经网络。

3. 聚类（Clustering）

• 目标：把相似的样本自动分到同一组。
• 例子：客户分群、市场细分。
• 常用算法：K-Means、层次聚类、DBSCAN。

4. 降维（Dimensionality Reduction）

• 目标：减少特征维度，保留主要信息。
• 例子：高维图像数据压缩成 2D 可视化。
• 常用方法：PCA、t-SNE。

5. 推荐（Recommendation）

• 目标：根据用户行为和偏好推荐合适内容。
• 例子：电影推荐、音乐推荐、电商推荐。
• 常用方法：协同过滤、矩阵分解、深度推荐模型。

四、按模型性质划分

1. 参数模型 vs 非参数模型

• 参数模型：模型假设有固定数量的参数，不会随数据规模增加而增加。
  • 例子：线性回归（参数就是权重和偏置）。
• 非参数模型：模型复杂度随数据规模增长而增加，更灵活。
  • 例子：KNN、决策树。

2. 生成模型 vs 判别模型

• 生成模型：学习输入和输出的联合分布 (P(x, y))，可以“生成”新数据。
  • 例子：朴素贝叶斯、隐马尔可夫模型、GAN。
• 判别模型：只学习条件分布 (P(y|x)) 或决策边界，直接用于预测。
  • 例子：逻辑回归、SVM、神经网络。

3. 批量学习 vs 在线学习

• 批量学习：一次性使用整个数据集训练，常用于离线建模。
• 在线学习：数据不断到来，模型实时更新，适合流数据场景。
  • 例子：推荐系统根据用户实时点击更新模型。

五、综合示例

以 电商推荐系统 为例，机器学习分类方法如何结合：

• 监督学习：预测用户是否会购买某商品（分类）。
• 无监督学习：对用户进行聚类，发现潜在消费群体。
• 半监督学习：利用少量带购买标签的数据 + 大量点击数据。
• 强化学习：根据实时用户反馈，动态调整推荐策略。

这说明不同分类方法并不是孤立的，而是在实际应用中往往相互配合。

六、总结与展望

本文我们从三个角度系统介绍了机器学习的分类方法：

1. 按数据标注情况：监督学习、无监督学习、半监督学习、强化学习。
2. 按任务目标：分类、回归、聚类、降维、推荐等。
3. 按模型性质：参数/非参数、生成/判别、批量/在线。

这些分类帮助我们更好地理解机器学习的整体框架。它就像是一张“地图”，让我们在学习时不会迷失方向。