首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Sea AI Lab和北大Adan项目原作解读:加速训练深度模型的高效优化器

自 Google 提出 Vision Transformer (ViT)以来,ViT 渐渐成为许多视觉任务的默认 backbone。凭借着 ViT 结构,许多视觉任务的 SOTA 都得到了进一步提升,包括图像分类、分割、检测、识别等。

然而,训练 ViT 并非易事。除了需要较复杂的训练技巧,模型训练的计算量往往也较之前的 CNN 大很多。近日,新加坡 Sea AI Lab 和北大 ZERO Lab 的研究团队共同提出新的深度模型优化器 Adan。该优化器可以仅用一半的计算量就能完成 ViT 的训练。此外,在计算量一样的情况下, Adan 在多个场景(涉及 CV、NLP、RL)、多种训练方式(有监督与自监督)和多种网络结构 / 算法(Swin、ViT、ResNet、ConvNext、MAE、LSTM、BERT、Transformer-XL、PPO 算法)上,均获得了性能提升。

机器之心最新一期线上分享邀请到了北京大学智能学院2019级博士生谢星宇(Sea AI Lab 实习生),为大家解读他们提出加速训练深度模型的高效优化器—— Adan。

分享主题:高效优化器 Adan 加速训练深度模型,一半计算量训练多种网络结构

分享嘉宾:谢星宇,北京大学智能学院 2019 级博士生,Sea AI Lab(SAIL)实习生

分享摘要:介绍如何通过传统优化算法启发得到几种流行的深度学习优化器。介绍两种流行的一阶 momentum 优化加速方法并引入进现有的深度学习优化器。总结一些 SOTA 模型优化器的选取和参数调整技巧。

相关链接:

1)SOTA!模型平台项目主页链接:

https://sota.jiqizhixin.com/project/adan

2)论文链接:

https://arxiv.org/abs/2208.06677

3)代码仓库:

https://github.com/sail-sg/Adan(代码、配置文件、训 log 等)

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20221205A033VV00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券