7年来Google首次更新transformer 模型，性能提升50%

Mixture-of-Depths:动态分配Transformer模型中的计算资源。其实质也是一种transformer模型，但是提出了动态分配计算资源的问题，大大提升了50%的计算性能。

传统的基于 Transformer 的语言模型在输入序列中均匀地分配 FLOPs（浮点运算次数）。MoD模型证明了 Transformer 可以学习动态地将 FLOPs分配到序列中的特定位置，并在模型的不同层级中优化序列的分配。MoD方法通过限制在给定层中可以参与自注意力和 MLP 计算的 token 数量来强制执行总计算预算。

MoD 的核心思想：

设置静态计算预算： 通过限制参与每个 block（自注意力层和前馈网络层）计算的 token 数量来控制总计算量。

路由机制： 使用路由器为每个 token 生成一个权重，表示该 token 参与 block 计算的优先级。

Top-k 选择： 选择权重最高的 k 个 token 参与 block 计算，保证计算图和张量大小保持静态。

MoD 的优势：

提高计算效率： 相比于传统 Transformer 模型，MoD 模型在每个前向传递中使用更少的计算量，从而提高了训练和推理速度。

保持或提升性能： 实验结果表明，在相同的计算预算下，MoD 模型可以达到与传统 Transformer 模型相当甚至更好的性能。

灵活的资源分配： MoD 模型可以根据上下文动态地将计算资源分配给更需要处理的 token，从而更好地理解输入序列。

#动图详解Transformer