从 GPT-2 到 Kimi K3：22580 倍规模增长背后的架构演进

本文深度解析Kimi K3技术演进路径：从GPT-2出发，历经Linear Attention、DeltaNet、Gated DeltaNet、Kimi Linear，最终抵达2.8万亿参数的Kimi K3。全文以“状态管理”为主线，揭示架构迭代本质——非单纯堆参，而是持续优化记忆存储、动态更新与选择性读取机制，兼顾效率与表达力。