首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Attention 演进路线:5 大阶段,11 篇奠基论文

Attention 演进路线:5 大阶段,11 篇奠基论文

作者头像
AI-Frontiers
发布于 2026-11-02 16:58:16
发布于 2026-11-02 16:58:16
2200
举报
概述
注意力机制走过了十余年的技术迭代。它最初只是循环神经网络里的一个对齐插件,后来成长为大模型时代的算力核心。梳理这条技术脉络,可以看到一条非常清晰的演进主线。早期研究聚焦于「**怎么让模型学会抓重点**」。中期研究转向「**怎么摆脱循环结构实现并行训练**」。近期研究则全面攻坚「**怎么突破显存带宽与超长上下文的物理极限**」。
文章被收录于专栏:transformertransformer

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档