BurstAttention:可对非常长的序列进行高效的分布式注意力计算

提高llm中注意力机制效率的努力主要集中在两种方法上:优化单设备计算和存储能力，如FlashAttention，以及利用多设备的分布式系统，如RingAttention。

FlashAttention通过使用静态随机存储器(SRAM)来存储中间状态，而不是依赖于高带宽存储器(HBM)来提高注意力计算速度。

而RingAttention通过将长序列划分为子序列并将其分布在多个设备上进行并行处理来处理长序列。

虽然它们都提高了处理速度和效率，如果将它们组合起来使用是否可以有更大的提高呢？理论上是这样，但是在分布式环境中直接组合这两种方法无法充分利用它们的优势，并且存在兼容性问题。

而最新的研究BurstAttention可以将2者结合，作为RingAttention和FlashAttention之间的桥梁。

BurstAttention是一个创新的框架，它优化了跨设备的计算和通信，增强了内存使用，最小化了通信开销，提高了缓存效率。

BurstAttention在集群中的设备之间分割序列，每个设备通过将序列投影到查询、键和值嵌入中来处理序列的一部分。然后这些片段在设备之间循环，计算本地注意力得分，并将其汇总为全局注意力得分。

在他们的实验中，表明BurstAttention减少了40%的通信开销，并将8×A100 gpu上128K长度序列的训练速度提高了一倍。

这篇论文是3月发布的，但是作者没有提到他们是否会发布他们的实现，所以我们先看看他的论文吧：

https://arxiv.org/abs/2403.09347