【知识】PyTorch中不同优化器的特点和使用
原创
转载请注明出处：小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你，欢迎[点赞、收藏、关注]哦~
目录
1. SGD（随机梯度下降）
- 用途：适用于小型到中型模型的基本优化。
- 特点：
- 通过负梯度方向更新参数。
- 可以包含动量（momentum）以加速学习并减少震荡。
- 简单且广泛使用，但需要仔细调整学习率。
import torch
import torch.nn as nn
import torch.optim as optim
# 定义一个简单的模型
model = nn.Linear(10, 1) # 一个线性模型
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9, weight_decay=1e-4)
# 训练循环
for input, target in dataloader:
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
optimizer.step()
2. Adam（自适应矩估计）
- 用途：深度学习模型，尤其是需要 L2 正则化时。
- 特点：
- 根据一阶和二阶矩估计为每个参数计算自适应学习率。
- 支持学习率衰减的无偏估计。
- 通常在适当设置下比 SGD 收敛更快。
optimizer = optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.0, amsgrad=False)
3. AdamW
- 用途：迁移学习、视觉任务，以及权重衰减关键的场景。
- 特点：
- 将权重衰减与梯度解耦，使其更有效。
- 在某些场景下性能超过 Adam 和 SGD。
optimizer = optim.AdamW(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.01)
4. Adagrad
- 用途：处理稀疏数据，例如自然语言处理或图像识别。
- 特点：
- 累积之前的平方梯度以调整学习率。
- 随着训练的进行，学习率单调递减，有助于收敛。
optimizer = optim.Adagrad(model.parameters(), lr=0.01, lr_decay=0.0, weight_decay=0.0, initial_accumulator_value=0.0, eps=1e-10)
5. Adadelta
- 用途：文本数据处理和图像分类。
- 特点：
- 通过使用窗口和解决 Adagrad 的学习率递减问题。
- 维护平方梯度和平方参数更新的运行平均值。
optimizer = optim.Adadelta(model.parameters(), lr=1.0, rho=0.9, eps=1e-06, weight_decay=0.0)
6. Adafactor
- 用途：大规模模型、大批量或长序列（例如深度学习在网页文本语料库上的应用）。
- 特点：
- 通过使用近似值替换二阶矩来减少计算开销。
- 专为非常大的模型设计，不会增加训练时间。
optimizer = optim.Adafactor(model.parameters(), lr=0.05, eps=(1e-30, 1e-3), clip_threshold=1.0, decay_rate=-0.8, beta1=None, weight_decay=0.0, scale_parameter=True, relative_step=True, warmup_init=False)
7. SparseAdam
- 用途：具有稀疏梯度数据的模型，例如 NLP 中的嵌入层。
- 特点：
- 优化稀疏张量更新；结合 SparseAdam 用于密集张量和 Adagrad 用于稀疏更新。
- 专为具有许多零值的参数设计。
optimizer = optim.SparseAdam(model.sparse_parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08)
8. Adamax
- 用途：类似于 Adam，但基于无穷范数，某些问题上更稳定。
- 特点：
- 使用过去梯度的最大值而不是平均值。
optimizer = optim.Adamax(model.parameters(), lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.0)
9. LBFGS
- 用途：无约束优化问题、回归以及需要二阶信息的问题。
- 特点：
- 使用梯度评估近似海森矩阵的拟牛顿方法。
- 比 SGD 或 Adam 需要更多内存和计算资源。
optimizer = optim.LBFGS(model.parameters(), lr=1.0, max_iter=20, max_eval=None, tolerance_grad=1e-07, tolerance_change=1e-09, history_size=100, line_search_fn=None)
# 使用 LBFGS 需要提供一个闭包（closure）来重新评价模型
def closure():
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
return loss
optimizer.step(closure)
10. RMSprop
- 用途：卷积神经网络和递归神经网络。
- 特点：
- 维护平方梯度的运行平均值，并对参数更新进行归一化。
- 解决 Adagrad 学习率单调递减的问题。
optimizer = optim.RMSprop(model.parameters(), lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0.0, momentum=0.0, centered=False)
11. Rprop（弹性反向传播）
- 用途：神经网络中梯度大小不重要的场景。
- 特点：
- 仅使用梯度的符号来更新参数，根据梯度符号变化调整学习率。
optimizer = optim.Rprop(model.parameters(), lr=0.01, etas=(0.5, 1.2), step_sizes=(1e-06, 50.0))
12. ASGD（平均随机梯度下降）
- 用途：促进某些模型的泛化。
- 特点：
- 维护优化过程中遇到的参数的运行平均值。
optimizer = optim.ASGD(model.parameters(), lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0.0)
13. NAdam（Nesterov 加速自适应矩估计）
- 用途：结合 Nesterov 动量和 Adam。
- 特点：
- 结合 Nesterov 加速梯度（NAG）以提供更稳定的收敛。
optimizer = optim.NAdam(model.parameters(), lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.0, momentum_decay=0.004)
14. RAdam（修正 Adam）
- 用途：需要自适应学习率但希望减少方差的场景。
- 特点：
- 根据梯度方差动态调整学习率。
optimizer = optim.RAdam(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.0)
15. Adafactor（自适应因子化梯度）
- 用途：大规模模型的内存高效优化。
- 特点：
- 通过将大梯度分解为小成分来减少内存使用。
optimizer = optim.Adafactor(model.parameters(), lr=0.3, eps=(1e-30, 1e-3), clip_threshold=1.0, decay_rate=-0.8, beta1=None, weight_decay=0.0, scale_parameter=True, relative_step=True, warmup_init=False)
16. AMSGrad
- 用途： Adam 优化器的一种改进版本，旨在解决 Adam 在某些情况下可能不收敛的问题。它通过保留梯度的历史信息来防止学习率过早下降，从而提高训练的稳定性和收敛性。
- 特点
- 自适应学习率：AMSGrad 自适应地调整学习率，以便更好地训练神经网络。
- 防止震荡：它可以防止 Adam 算法中的震荡现象，从而提高训练效果。
- 改进收敛性：通过优化二阶动量，避免了 Adam 算法可能遭遇的收敛问题，特别适合长时间训练或解决深层网络难题。
# 初始化 AMSGrad 优化器，通过amsgrad参数设置
optimizer = optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=True)
性能考虑
- 这些优化器的性能可能因硬件和问题的性质而异。PyTorch 将优化器分为以下几类：
- For-loop：基本实现，但由于内核调用较慢。
- Foreach：使用多张量操作以加快处理速度。
- Fused：将步骤合并为单个内核以实现最大速度。
总结
- 选择优化器取决于问题的复杂性、数据的稀疏性和硬件的可用性。像 Adam 或 AdamW 这样的自适应算法因其通用有效性而被广泛使用，而像 SGD 这样的简单方法在适当调整超参数时是最优的。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号