人工智能算法概述

一. 代表类别

监督学习：通过带标签的数据进行训练，目标是学到输入到输出的映射关系。

无监督学习：数据没有标签，目标是发现数据中的结构、模式、分组等。

半监督学习：少量有标签数据 + 大量无标签数据共同进行训练，提高学习效率。

传统算法：基于统计学和传统数学模型，适合小到中型数据集。

深度学习：以多层神经网络为基础，通过大量数据和算力学习复杂模式，适用于图像、文本等复杂任务。

进化算法：模拟自然进化机制来进行优化和搜索。

分类算法：用于判断类别。

回归算法：用于预测连续值。

聚类算法：用于无监督分组。

推荐算法：个性化推荐系统。

二.常见算法/模型举例

1. 线性回归

用于解决回归问题，预测一个连续的数值结果。

通过找到一条“直线”（或在多维空间中的超平面），来最好地拟合输入数据与输出值之间的关系，从而根据输入的特征预测一个具体的数值。

常见应用场景

• 预测房价（根据房屋面积、地段等）
• 预测销售额（根据广告投入、季节等）
• 预测温度、股票价格等连续数值

2.逻辑回归

主要用于解决二分类问题（即把数据分成两类）。

逻辑回归通过一个特殊的函数（逻辑函数），将线性回归的输出映射到一个概率值（0到1之间），然后根据这个概率决定样本属于哪一类。

常见应用场景

• 判断邮件是否为垃圾邮件（是/否）
• 判断病人是否患病（患病/健康）
• 用户是否会点击广告（点击/不点击）

3.决策树

模型结构类似一棵树，通过一系列“如果…那么…”的判断规则进行预测。

通过不断对数据特征进行提问/判断（比如：年龄 > 30？收入 > 5000？），将数据一步步划分，最终形成一棵树状结构。树的内部节点是判断条件，叶子节点是预测结果。

常见应用场景：

• 判断客户是否会购买产品（是/否）
• 预测房子的价格区间
• 根据天气决定是否出行等

4.支持向量机

擅长处理小样本、高维度的数据分类任务。

SVM 的目标是找到一个最优的“分界线”（或超平面），把不同类别的数据分开，并且让这个分界线尽可能“合理”。

在特征空间中找到一个最优的超平面，使得不同类别的数据能够被尽可能正确地分开，同时让这个分界线到最近的数据点（称为支持向量）的距离最大化，从而提高分类的泛化能力。

常见应用场景

• 图像分类（如手写数字识别）
• 文本分类（如垃圾邮件识别）
• 生物信息学中的分类问题

5.K均值聚类

用于将数据分成K 个不同的组（簇/类），目标是让同一组内的数据尽量相似，不同组间的数据尽量不同。

事先指定要分成 K 个簇（K 是人为指定的），

算法先随机选 K 个点作为“中心点”（叫聚类中心或质心），

然后把每个数据点分配给离它最近的那个中心点，形成 K 个簇，

接着重新计算每个簇的中心位置（均值），

不断重复“分配数据→更新中心”这个过程，直到中心点基本不变或达到最大迭代次数。

常见应用场景

• 把客户分成几类（如高消费、中消费、低消费群体）
• 图像分割（将像素分成不同区域）
• 新闻文章聚类（把相似主题的新闻归为一类）

6.层次聚类

通过逐步合并或拆分数据点的方式，构建出一个树状结构（称为树状图），从而展现数据之间的层次关系。

凝聚式（自底向上）：开始时每个数据点是一个单独的簇，然后不断合并最相似的两个簇，直到满足停止条件（比如只剩几个簇）。

分裂式（自顶向下）：开始时所有数据都在一个簇里，然后逐步分裂成更小的簇，但这种方式较少使用。

最常用的是凝聚式层次聚类，它会生成一个树状图，你可以根据需要从树上切割出任意数量的簇，不需要提前指定簇的数量。

常见应用场景

• 基因数据分析，找出物种或基因的亲缘关系
• 组织架构分析、社会网络分析
• 文档或文本的层次化主题归纳

7.主成分分析法

一种常用的无监督降维技术，属于数据预处理和特征提取方法，常用于高维数据的简化与可视化。

PCA 的目标是通过线性变换，将原始的高维数据转换为一组新的、数量更少但信息量尽可能保留的变量（称为主成分），这些主成分彼此之间互不相关（正交），并且按照方差从大到小排序。

简单来说，PCA 就是找出数据中变化最大的方向，并沿着这些方向重新表示数据，从而达到降维的目的。

假设有一堆数据点分布在高维空间中，PCA 会试图找到一个新坐标系，使得：

• 第一个新轴（第一主成分）：是数据变化（方差）最大的方向；
• 第二个新轴（第二主成分）：是与第一主成分垂直、且方差次大的方向；
• 以此类推，后面的主成分方差越来越小，且都与前面的主成分正交。

我们通常只保留前几个方差最大的主成分，而忽略那些方差很小的成分（通常代表噪声或无关信息），从而实现降维。

常见应用场景

• 图像处理（如人脸识别中的特征降维）
• 金融风控（多指标降维分析）
• 基因表达数据分析
• 推荐系统、文本主题提取前的特征处理
• 数据可视化（如将多维数据降到二维画图）

8.基于密度的聚类

根据数据点分布密集程度自动划分簇并识别噪声的聚类方法。

通过“密度连通”、“核心点”、“边界点”和“噪声点”的概念，将处于高密度区域且相互密度可达的数据点聚集为一个簇，而低密度区域中的点被视为噪声，从而发现任意形状的簇结构。

• “密度可达”：一个点通过一定范围内有足够多邻居的路径可达另一点；
• “核心点”：在其邻域内有足够多数据点的点；
• “噪声点”：不属于任何簇的孤立或稀疏点；
• “任意形状”：可识别非球形、复杂分布的簇。

常见应用场景

• 异常检测：如网络入侵检测、设备故障监测
• 空间数据聚类：如地理信息系统中聚集的地点、区域发现
• 图像处理：如图像分割、目标区域提取
• 社交网络分析：如社区发现、用户群体划分
• 生物信息学：如基因表达数据的聚类分析

9.自编码器

主要用于数据的压缩（编码）与重建（解码）。目标是将输入数据压缩成一个低维表示（编码），然后再从这个低维表示中尽可能准确地重建出原始输入数据（解码）。

通过让网络学习如何高效地压缩并重建输入数据，迫使它自动提取出数据中最重要、最有代表性的特征。

常见应用场景：

• 数据降维与特征提取：类似于 PCA，但更强大，能学习非线性特征，用于高维数据预处理；
• 图像去噪：通过去噪自编码器，从含噪声的图像中恢复干净图像；
• 异常检测：正常数据重建误差小，异常数据重建误差大，可用于检测异常；
• 数据生成：特别是变分自编码器（VAE）等模型，可以生成类似训练数据的新样本；
• 推荐系统：学习用户或物品的低维表示，用于相似度计算或匹配；
• 图像压缩与重建：学习有效的图像编码，用于压缩存储或重建显示。

10.Q学习

用于学习在各种状态（State）下采取不同动作（Action）的长期价值（即Q值），从而帮助智能体学会做出最优决策，以获得最多的累计奖励。

让智能体通过不断尝试，在每个状态中选择一个动作并观察结果，逐渐学会在什么状态下做什么动作能获得最好的长期回报。

Q学习就是让智能体通过“试错 + 记录 + 更新”的方式，学会在各种情况下做出最有利的选择。

常见应用场景

• 游戏 AI：如走迷宫、简单的棋类游戏等
• 机器人控制：如路径规划、移动导航
• 资源调度：如任务分配、网络管理
• 交通控制：如红绿灯优化
• 推荐与广告系统：动态调整策略以提升用户体验或点击率

11.深度Q网络

传统Q学习中的Q值表换成了一个深度神经网络，用来处理状态空间非常大或者状态是复杂数据（比如图像）时的强化学习问题。

用神经网络来近似表示 Q 值函数，从而替代传统的 Q 表，使智能体能够在状态空间巨大甚至连续的情况下，依然能够学习到每个状态下应该采取的最佳动作。

常见应用场景

• 游戏智能体：比如让 AI 自动玩 Atari 游戏、围棋、星际争霸等复杂游戏
• 机器人控制：控制机械臂、无人车、无人机等完成复杂任务
• 自动驾驶：学习如何根据环境感知做出驾驶决策
• 金融交易：根据市场状态决定买入、卖出等操作
• 智能推荐与广告系统：根据用户状态动态调整推荐策略

12.近端策略优化

用于训练智能体在环境中学习执行最优动作。目前最流行、最实用的强化学习算法之一，因其简单、稳定、效果好而被广泛应用。

PPO 属于“策略优化方法”，与传统的 Q 学习不同，它直接优化智能体的策略（即决定在每个状态下采取什么动作的规则），而不是先学习一个价值函数。

通过限制策略更新的幅度，保证每次更新不会太大，从而让训练过程更加稳定和可靠。

常见应用场景

• 游戏 AI：如 OpenAI Five（Dota 2）、MuZero 等复杂游戏智能体
• 机器人控制：如机械臂操作、仿人机器人行走
• 自动驾驶：决策与控制策略的学习
• 资源管理：如云计算任务调度、网络流量控制
• 对话系统与推荐系统：策略型决策优化

13.深度确定性策略梯度

一种能在连续动作空间中进行高效策略学习的深度强化学习算法。

通过“Actor-Critic结构”、“确定性策略”、“经验回放”和“目标网络”，将策略网络（Actor）用于直接输出确定性的连续动作，价值网络（Critic）评估该动作的价值，从而实现稳定高效的策略优化。

• “Actor-Critic”：一个网络负责决策（Actor），一个网络评估价值（Critic）；
• “确定性策略”：直接输出具体的连续动作，而非动作概率分布；
• “经验回放”：存储并随机采样历史经验，提高数据利用率与训练稳定性；
• “目标网络”：使用独立的缓慢更新网络，增加训练的收敛性。

常见应用场景

• 机器人控制：如机械臂运动控制、无人机飞行控制
• 自动驾驶：如车辆方向盘角度、油门的连续控制
• 金融交易：如连续调整投资组合权重
• 游戏控制：如连续动作空间的游戏AI（如赛车、物理模拟类游戏）
• 工业控制：如温度、压力等连续参数的智能调节

14.随机森林（Random Forest）

随机森林就像是一个由很多棵决策树组成的“森林”，每棵树独立做出判断，最后通过投票（分类）或平均（回归）得出最终结果。

通过构建多棵决策树，并引入随机性（包括数据随机和特征随机），让每棵树都略有不同，再通过集体决策减少过拟合，提高泛化能力。

常见应用场景

• 金融风控：如信用评分、欺诈检测
• 医疗诊断：如疾病预测、患者风险分层
• 电商推荐：如用户购买行为预测
• 图像与文本分类：如文档分类、图像识别辅助任务
• 工业设备故障预测：如预测机器何时可能出故障

15.K近邻（K-Nearest Neighbors，KNN）

KNN 是通过查找某个样本的最相似的 K 个邻居，然后根据这些邻居的信息来进行预测。

通过计算新样本与已有数据之间的距离，找出距离最近的 K 个邻居，再根据这些邻居的类别或数值进行投票或平均，从而预测新样本的结果。

• “距离”：通常使用欧氏距离等方法衡量样本间的相似程度；
• “K 值”：代表选取的最邻近样本的数量，是一个重要超参数；
• “投票/平均”：分类任务中采用多数表决，回归任务中取平均值作为预测结果。

常见应用场景

• 图像识别：如手写数字分类
• 推荐系统：根据用户行为找出相似用户进行推荐
• 文本分类：如新闻类别判断
• 异常检测：发现与大多数样本差异过大的数据点
• 医疗诊断：根据病人特征匹配相似病例辅助诊断

16.朴素贝叶斯（Naive Bayes）

通过计算不同类别的概率，来判断新样本属于哪个类别。

假设所有特征之间相互独立，在已知类别的情况下，通过计算各个特征出现的概率，来推测样本最可能属于哪个类别。

• “贝叶斯定理”：利用先验概率和条件概率推导后验概率；
• “特征独立”：假设各个特征对分类的影响是独立的，简化计算；
• “概率比较”：比较样本属于不同类别的概率，选择概率最大的类别作为预测结果。

常见应用场景

• 垃圾邮件过滤：判断邮件是否为垃圾邮件
• 文本分类：如新闻分类、情感分析
• 医疗诊断：根据症状预测疾病可能性
• 推荐系统：基于用户行为进行初步分类推荐
• 网络内容审核：自动识别不当内容

17.神经网络（Neural Network）

神经网络就是通过模仿生物神经系统，构建出能从数据中学习的数学模型。

通过多层神经元构成的网络结构，利用“权重”和“激活函数”对输入数据进行层层处理，通过“训练”不断调整参数，使得网络输出逐渐逼近期望结果，从而实现对数据的自动特征提取与模式识别。

• “神经元”：网络的基本计算单元，模拟生物神经细胞；
• “层级结构”：通常包括输入层、隐藏层和输出层；
• “学习能力”：通过反向传播和优化算法不断调整参数以提高准确性。

常见应用场景

• 图像识别：如人脸识别、物体检测
• 自然语言处理：如机器翻译、文本生成
• 语音识别与合成：如语音助手、语音转文字
• 自动驾驶：环境感知与决策
• 金融风控：如信用评分、欺诈检测

18.循环神经网络（RNN）

RNN 是一种“有记忆的神经网络”，会记住之前处理过的内容，从而在处理当前数据时考虑上下文信息。

通过循环结构让网络在处理序列时保留历史信息，使当前输出不仅依赖于当前输入，还依赖于之前的状态，从而捕捉序列中的时间依赖关系。

• “循环结构”：同一组权重在序列的每一步被重复使用；
• “隐藏状态”：保存了前面时刻的信息，是实现记忆功能的关键；
• “时序依赖”：能够建模数据在时间或顺序上的关联关系。

常见应用场景

• 自然语言处理：如文本生成、机器翻译、情感分析
• 语音识别：将语音信号转为文字
• 时间序列预测：如股票价格预测、天气预测
• 视频分析：理解视频中的时序动作
• 对话系统：如聊天机器人、语音助手

19.卷积神经网络

一种擅长自动提取空间特征、特别适合图像等网格数据处理的深度学习模型。

通过“局部感知”、“权值共享”、“卷积操作”和“层次化特征提取”，用卷积核滑动提取局部区域特征，共享参数减少计算量，并逐层组合形成高级语义表示，从而高效识别数据中的模式与结构。

• “局部感知”：每个神经元只连接输入的一小部分区域；
• “权值共享”：同一卷积核在不同位置共享参数；
• “卷积操作”：通过滑动窗口提取局部特征；
• “层次化特征”：浅层提取边缘纹理，深层识别高级语义。

常见应用场景

• 图像分类：如物体识别、场景分类
• 目标检测：如人脸检测、交通标志识别
• 图像分割：如医学图像分析、自动驾驶道路分割
• 人脸识别：如身份验证、安防监控
• 视频分析：如行为识别、视频内容理解

20.BERT

BERT是一种双向理解的预训练语言模型，擅长理解句子中词语的上下文含义。

通过“双向编码器”和“Transformer架构”，在预训练阶段使用“掩码语言模型（MLM）”和“下一句预测（NSP）”两个任务，让模型同时理解词语的左右上下文以及句子之间的关系，从而学习到深层次的语言表示。

常见应用场景

• 文本分类：如情感分析、垃圾邮件检测
• 问答系统：如智能客服、知识问答
• 命名实体识别（NER）：如提取人名、地名、机构名
• 语义相似度计算：如判断两句话意思是否相近
• 机器翻译与文本摘要（结合其他技术）

21.GPT

GPT是一种以生成方式工作的预训练语言模型，擅长根据已有文本生成连贯的后续内容。

通过“自回归生成”和“Transformer解码器”结构，在预训练阶段使用“掩码语言建模（预测下一个词）”任务，让模型学会根据上文预测下文，从而掌握语言的语法、逻辑与语义，实现强大的文本生成能力。

常见应用场景

• 文本生成：如文章写作、故事创作、对话生成
• 智能对话系统：如聊天机器人、虚拟助手
• 代码生成与补全：如辅助编程、自动写代码
• 摘要生成：如新闻摘要、文档总结
• 问答系统：根据上下文生成问题答案

22.遗传算法

遗传算法是一种通过“进化”方式寻找最优解的智能优化算法。

通过“种群”、“选择”、“交叉”和“变异”等操作，模拟生物进化过程，在每一代中保留较优个体，逐步逼近问题的最优解，实现全局或局部最优搜索。

• “种群进化”：一组候选解构成种群，不断迭代优化；
• “适者生存”：适应度高的个体有更高概率被选中繁殖；
• “遗传操作”：通过交叉和变异产生新的解，增加多样性。

常见应用场景

• 函数优化：如多峰函数、复杂约束优化问题
• 组合优化：如旅行商问题（TSP）、排班问题
• 机器学习参数调优：如神经网络超参数优化
• 工程设计：如结构优化、参数设计
• 路径规划与调度：如物流路径、生产调度

23.粒子群优化

通过模拟群体协作寻找最优解的智能优化算法。

通过“粒子”、“个体最优”、“全局最优”和“速度更新”机制，使每个粒子在搜索空间中根据自身历史最佳位置和群体历史最佳位置动态调整飞行方向与速度，从而协同寻优。

• “群体协作”：多个粒子共同搜索，共享信息；
• “记忆与学习”：每个粒子记住自己找到的最好位置和群体最好位置；
• “动态调整”：通过速度与位置的不断更新逼近最优解。

常见应用场景

• 函数优化：如连续非线性、多峰函数优化
• 神经网络训练：如权重与结构优化
• 工程优化：如参数设计、结构优化
• 路径规划：如机器人路径、无人机航迹
• 调度与组合优化：如任务分配、资源调度

24.蚁群优化

通过模拟蚂蚁群体信息素交流寻找最优路径的智能算法。

通过“蚂蚁”、“信息素”、“路径选择”和“正反馈”机制，使每只蚂蚁根据当前信息素浓度和启发式信息选择路径，路径上信息素浓度随蚂蚁经过次数和路径质量动态更新，从而引导群体逐步收敛到优质解。

• “群体协作”：多只蚂蚁共同探索，通过信息素共享信息；
• “正反馈”：优质路径上信息素增强，吸引更多蚂蚁；
• “动态更新”：信息素随时间挥发并不断重新积累。

常见应用场景

• 路径规划：如旅行商问题（TSP）、车辆路径问题（VRP）
• 物流配送：如快递路线优化、配送中心选址
• 网络路由：如计算机网络数据传输路径选择
• 交通调度：如城市交通信号优化、地铁列车调度
• 电路设计：如布局布线优化

25.差分进化

利用个体间差异引导搜索方向的高效优化算法。

通过“种群”、“变异”、“交叉”和“选择”操作，利用当前种群中个体间的差分向量生成新个体，并与原个体进行竞争，保留更优个体，从而在搜索空间中逐步逼近最优解。

• “差分变异”：利用个体之间的差值构造变异向量，引导搜索；
• “交叉重组”：将变异向量与目标向量结合生成试验个体；
• “择优保留”：通过适应度比较决定下一代个体，保证进化方向。

常见应用场景

• 函数优化：如高维、非线性、多峰函数优化
• 工程设计：如参数优化、结构设计
• 神经网络训练：如权重优化、结构参数调节
• 调度问题：如任务分配、生产排程
• 经济与金融模型优化：如参数拟合、投资组合优化

26.岭回归

带正则化约束的线性回归方法，用于防止过拟合和应对共线性。

通过在损失函数中加入“L2正则化”（即回归系数平方和的惩罚项），约束系数大小，防止过拟合，提高模型稳定性，尤其在自变量间相关性较强时仍能获得可靠解。

• “正则化约束”：限制模型参数不要过大；
• “提高稳定性”：减少参数估计的方差；
• “应对共线性”：当特征间高度相关时仍有效。

常见应用场景

• 多重共线性数据建模：如经济学、社会科学中的多变量分析
• 预测建模：如房价预测、销量预测等回归问题
• 特征较多时的回归分析：如生物信息学、医学数据分析
• 数据存在噪声或共线性的场景：如传感器数据、实验数据建模
• 需要模型稳健性的场景：如金融风险评估、工业过程建模

27.协同过滤

利用用户历史行为数据进行个性化推荐的算法。

通过“用户行为”、“相似性”和“群体偏好”，找出与目标用户兴趣相似的其他用户（用户协同）或与目标物品相似的其他物品（物品协同），进而基于这些相似对象的行为进行推荐。

• “用户相似性”：找到兴趣爱好相近的其他用户；
• “物品相似性”：找到与用户喜欢物品类似的其它物品；
• “群体行为”：利用多数用户的共同选择进行预测和推荐。

常见应用场景

• 电商平台推荐：如淘宝、京东的商品推荐
• 视频/音乐推荐：如抖音、爱奇艺、网易云音乐的个性化内容推荐
• 电影/图书推荐：如豆瓣、Netflix的电影推荐系统
• 广告推荐：根据用户兴趣推送个性化广告
• 社交网络推荐：如好友推荐、内容推送

28.矩阵分解

通过拆解矩阵为低维因子来发现隐藏模式并用于预测的技术。

通过“矩阵拆解”、“低维表示”和“潜在特征”，将原始高维稀疏矩阵分解为两个或多个低维矩阵的乘积，从而提取出用户和物品的隐藏特征，用于预测未知数据或填补缺失值。

• “低维表示”：将用户和物品映射到共同的潜在特征空间；
• “潜在特征”：挖掘用户偏好和物品特性的隐含维度；
• “预测重建”：通过分解后的矩阵重构原矩阵，预测缺失项。

常见应用场景

• 推荐系统：如电影评分预测、商品推荐（例如Netflix Prize中使用）
• 评分预测：填补用户-物品评分矩阵中的空缺值
• 用户画像与物品特征提取：用于理解用户偏好和物品特性
• 广告点击率预测：挖掘用户与广告之间的潜在关联
• 社交网络分析：如用户-内容、用户-用户关系预测

29.深度推荐模型

利用深度神经网络进行特征学习和用户兴趣预测的先进推荐技术。

通过“深度神经网络”、“自动特征学习”、“端到端训练”和“高阶特征交互”，从原始数据中挖掘深层次的用户与物品表征，捕捉复杂的用户行为模式，从而提升推荐的准确性与个性化程度。

• “深度神经网络”：使用多层网络结构提取复杂特征；
• “自动特征学习”：无需人工设计特征，由模型自动学习；
• “高阶交互”：建模用户与物品之间更复杂的关联关系；
• “端到端优化”：从输入到输出整体训练，提升效果。

常见应用场景

• 个性化内容推荐：如新闻推荐、短视频推荐（如抖音、今日头条）
• 电商推荐：如商品推荐、购物车预测（如淘宝、京东）
• 视频与音乐推荐：如电影、音乐个性化推送（如爱奇艺、网易云音乐）
• 广告推荐与CTR预测：精准投放个性化广告
• 社交推荐：如好友推荐、内容分享推荐