AI-Frontiers
Attention 演进路线:5 大阶段,11 篇奠基论文
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
AI-Frontiers
社区首页
>
专栏
>
Attention 演进路线:5 大阶段,11 篇奠基论文
Attention 演进路线:5 大阶段,11 篇奠基论文
AI-Frontiers
关注
发布于 2026-11-02 16:58:16
发布于 2026-11-02 16:58:16
220
0
举报
概述
注意力机制走过了十余年的技术迭代。它最初只是循环神经网络里的一个对齐插件,后来成长为大模型时代的算力核心。梳理这条技术脉络,可以看到一条非常清晰的演进主线。早期研究聚焦于「**怎么让模型学会抓重点**」。中期研究转向「**怎么摆脱循环结构实现并行训练**」。近期研究则全面攻坚「**怎么突破显存带宽与超长上下文的物理极限**」。
文章被收录于专栏:
transformer
transformer
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
LLM
#attention
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档