多智能体协作不再"翻车"！新型安全强化学习算法

论文链接：https://arxiv.org/pdf/2504.15425

项目链接：https://mit-realm.github.io/def-marl/

简介

论文聚焦于多智能体系统（Multi-Agent Systems, MAS）中的优化控制问题，特别是针对约束条件下的策略优化。在现代自动化科学与工程领域中，MAS的应用日益广泛，从自动驾驶车辆到复杂的工业控制系统，都依赖于高效、安全的协作机制来完成任务。然而，随着系统的复杂度增加，传统的单智能体控制方法已难以满足需求。本文提出了一种名为Def-MARL的新框架，旨在通过结合强化学习（Reinforcement Learning, RL）和最优控制理论，解决MAS中的安全性和效率问题。

论文首先回顾了当前MAS研究中的主要挑战，如如何在保证系统安全性的同时实现高效的资源分配与协调控制。现有的多智能体强化学习（MARL）方法虽然在某些特定场景下表现良好，但它们往往忽视了实际应用中的约束条件，导致在真实环境中难以直接应用。

为此，作者提出了Def-MARL，一个基于防御性策略优化的框架，旨在确保MAS在各种环境下都能安全运行。该框架不仅考虑了环境中的动态变化，还引入了新的数学工具和技术，以应对复杂的约束条件和不确定性因素。通过这一创新性的方法，希望能够为未来MAS的设计提供新的思路和解决方案，推动自动化技术的发展。

图片

理论分析

本文深入探讨了MASOCP（多智能体二次规划）问题的重新表述方式，即采用epigraph形式。MASOCP本质上是一个包含多个约束条件的优化问题，其中每个智能体需要根据局部观测信息做出决策，并协同其他智能体共同实现全局目标。为了将MASOCP转化为更易于处理的形式，作者引入了成本值函数Vl和约束值函数Vh。具体来说，成本值函数定义为：

图片

这里，

图片

表示在时间步k时的成本函数，而π(xk)则代表智能体在状态xk下采取的策略。另一方面，约束值函数被定义为最大约束违反量：

图片

这里，

图片

是第i个智能体在时间步k的局部约束函数，

图片

表示其局部观测。通过这种方式，约束值函数Vh可以分解为每个智能体的局部约束值函数

图片

，从而使得整个系统的问题可以分布式地进行求解。

接下来，作者利用辅助变量z来表示成本值函数Vl的期望上限，从而将原始问题简洁地重写为：

图片

图片

进一步地，通过引入epigraph形式，上述问题可转化为：

图片

这实际上将原问题分解为两个子问题：一个是关于策略π的无约束内层问题，另一个是关于参数z的约束外层问题。通过这种分解，不仅可以简化问题的求解过程，还能更好地理解和处理各智能体之间的交互关系。此外，作者证明了可以通过动态规划来求解这个新形式的优化问题，进一步提升了算法的适用性和效率。

图片

图片

方法与实验设计

在方法部分，作者详细描述了Def-MARL框架的具体实现细节及其共享超参数设置。Def-MARL的核心在于结合图神经网络（GNN）、循环神经网络（RNN）以及注意力机制，以实现高效的多智能体协作与学习。首先，GNN被用于建模智能体间的相互作用，其层数设为2层，每层的消息传递维度为32，输出维度为64。这些设置有助于捕捉智能体之间的局部连接模式，并促进信息的有效传播。RNN则负责处理时间序列数据，采用GRU类型，数据块长度设为16，层数为1，能够有效地记忆并利用历史信息。此外，注意力机制通过3个注意力头增强模型对重要信息的关注，进一步提升学习效果。

图片

除了上述基本架构外，作者还指出了Def-MARL与其他基准方法（如Penalty和Lagr）共有的超参数配置。例如，激活函数选用ReLU，梯度裁剪范数设为2，优化器使用Adam，批大小设定为16384，且网络初始化采用正交初始化方式，同时启用了层归一化。这些选择确保了模型训练的稳定性和收敛速度。

对于Def-MARL特有的超参数，作者特别强调了不同任务场景下的适应性调整。例如，在ConnectSpread任务中，GNN层数增加至2层，而在其他任务中保持1层；编码维度固定为8，并采用了Chandrupatla的方法作为外部问题求解器。

此外，作者还介绍了如何确定上下界zmin和zmax，前者设为一个小负数-0.5，后者则根据不同环境的复杂程度计算得出。例如，在MPE环境中，通过估计最大模拟时间步长T并结合初始距离、到达概率及控制成本等权重因子，得到zmax的保守估计值。

图片

图片

图片

在实验设计方面，作者比较了Def-MARL与其基线方法在多种环境下的性能表现。通过一系列图表展示了不同方法在训练过程中成本和安全性指标的变化趋势。结果显示，Def-MARL在大多数情况下均表现出优异的安全性和较低的成本消耗，尤其是在复杂环境如MPE和MuJoCo中，其优势更加明显。值得注意的是，尽管在通信变量z被禁用的情况下，智能体的表现依然相似，但理论上无法保证最优性。此外，本文也指出了一些尚未解决的问题，如噪声、动态干扰及通信延迟等因素的影响，为后续研究提供了方向。

图片

图片

图片

结果与讨论

作者展示了Def-MARL和其他基准方法（如Penalty和Lagr）在不同环境中的性能对比。通过详尽的实验数据和图表，清晰地呈现了各个方法在训练过程中的成本和安全性变化趋势。例如，在MPE环境下的实验结果表明，Def-MARL在成本和安全性方面的表现显著优于其他方法。特别是在长期训练后，Def-MARL能够持续维持较低的成本水平，同时保持较高的安全性比率。相比之下，Penalty方法在高惩罚系数下虽然也能达到一定的安全性，但往往伴随着较高的成本。Lagr方法虽然在一些场景下表现出色，但在复杂环境中却未能始终如一地保持最佳性能。

除了MPE环境，作者还对多智能体MuJoCo环境进行了测试。在这些实验中，智能体首先使用未约束的MAPPO进行预训练，记录最大成本后将其翻倍作为zmax。结果显示，Def-MARL不仅能够在预训练阶段快速收敛，而且在最终性能上也显著超越了其他方法。通过对比不同方法的训练曲线，可以看出Def-MARL在减少成本的同时，始终保持了较高的安全性，体现了其在复杂任务中的优越性。

在讨论环节，作者深入探讨了Def-MARL框架的优势及其局限性。一方面，通过引入epigraph形式和动态规划方法，Def-MARL成功解决了传统MARL方法在处理约束条件时面临的挑战，实现了更高的安全性和效率。此外，GNN、RNN以及注意力机制的结合，使得智能体能够更好地理解和响应环境中的动态变化。另一方面，作者也指出了现有框架的一些不足之处，如未考虑通信延迟和噪声影响，以及在非理想条件下无法完全保证最优性等问题。

结论与未来工作

本文最后总结了Def-MARL框架的主要贡献，并展望了未来可能的研究方向。首先，作者强调了Def-MARL在处理多智能体系统中的约束优化问题上的有效性，特别是在保障系统安全性和降低运营成本方面所取得的显著成果。通过引入epigraph形式和动态规划方法，Def-MARL不仅解决了传统MARL方法在处理复杂约束条件时遇到的难题，还在多种实验环境中展示了卓越的性能。此外，框架中的关键技术如GNN、RNN和注意力机制的结合，使得智能体能够更精准地理解和响应环境中的动态变化，进一步提升了整体系统的鲁棒性和适应性。

然而，尽管取得了诸多进展，Def-MARL仍面临一些亟待解决的挑战。首先，当前框架并未充分考虑通信延迟和噪声等实际应用场景中的常见问题。这意味着在真实的多智能体系统中，可能会出现由于信息传递不及时或受到干扰而导致的性能下降。其次，当损失函数的最小化不够精确时，即使在理论上可以保证安全性的条件下，也可能无法在实践中完全实现这一点。这些问题提示我们需要进一步研究如何在不确定性和复杂环境中增强系统的稳定性与可靠性。

未来的工作将围绕以下几个方向展开：

一是探索更有效的通信协议，以应对潜在的通信延迟和噪声干扰；

二是开发更加先进的算法，提高损失函数最小化的精度，确保在实际应用中能够严格遵守安全约束；

三是扩展框架的应用范围，尝试将其应用于更多种类的多智能体系统中，验证其通用性和实用性。

通过不断优化和完善Def-MARL框架，我们有望在未来构建出更加智能、安全和高效的多智能体系统，推动自动化技术和人工智能领域的进一步发展。