本文介绍了一篇关于多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）的研究论文，题为《Attention-Based Recurrence for Multi-Agent Reinforcement Learning under Stochastic Partial Observability》。该论文由Thomy Phan、Fabian Ritz、Philipp Altmann、Maximilian Zorn、Jonas Nüßlein、Michael Kölle、Thomas Gabor和Claudia Linnhoff-Popien共同撰写，发表于2023年第40届国际机器学习会议（ICML）上，会议地点为美国夏威夷檀香山。

研究背景与动机

多智能体系统（Multi-Agent Systems, MAS）在许多现实世界应用中具有广泛的应用前景，例如车队管理、工业4.0和通信网络等。这些系统通常被建模为分散式部分可观测马尔可夫决策过程（Decentralized Partially Observable Markov Decision Processes, Dec-POMDPs），其中多个智能体需要协作以实现共同目标。然而，随机部分可观测性（Stochastic Partial Observability）给Dec-POMDPs中的分散协调带来了巨大挑战，尤其是在传感器噪声和初始状态高方差的情况下。

现有的多智能体强化学习（MARL）研究主要集中在基于状态的集中训练分散执行（Centralized Training for Decentralized Execution, CTDE）方法上，尤其是在《星际争霸多智能体挑战》（StarCraft Multi-Agent Challenge, SMAC）等基准测试中取得了显著进展。然而，这些方法往往忽略了随机部分可观测性，导致在实际应用中表现不佳。为了解决这一问题，本文提出了一种基于注意力机制的多智能体循环嵌入方法（Attention-Based Embeddings of Recurrence in Multi-Agent Learning, AERIAL），旨在通过近似值函数来处理随机部分可观测性。

研究方法与流程

本文的研究方法主要包括以下几个步骤：

1. AERIAL方法的设计：AERIAL通过替换真实状态，使用多智能体循环的表示来近似值函数。具体来说，AERIAL利用循环神经网络（RNNs）来捕捉每个智能体的局部历史信息，并通过自注意力机制（Self-Attention）来处理这些局部历史信息之间的潜在依赖关系。这种方法能够更准确地反映分散决策的闭环信息。

2. MessySMAC基准的引入：为了更全面地评估随机部分可观测性，本文提出了MessySMAC，这是对SMAC基准的改进版本。MessySMAC引入了随机观测和初始状态的高方差，从而提供了一个更具通用性和可配置性的Dec-POMDP基准。

3. 实验设计与评估：本文在Dec-Tiger、SMAC和MessySMAC等多个基准上对AERIAL进行了评估，并与基于状态的CTDE方法进行了对比。实验结果表明，AERIAL在原始SMAC中表现良好，在Dec-Tiger和MessySMAC中表现优于基于状态的CTDE方法。

主要结果与结论

实验结果表明，AERIAL在处理随机部分可观测性方面表现出色。具体来说： - 在Dec-Tiger基准测试中，AERIAL能够接近最优解，而基于状态的CTDE方法则表现较差。 - 在原始SMAC基准测试中，AERIAL与现有的最先进方法（如QPLEX和QMIX）表现相当。 - 在MessySMAC基准测试中，AERIAL在大多数地图中表现最佳，尤其是在观测和初始状态随机性较高的情况下。

研究的意义与价值

本文的研究具有重要的科学价值和应用价值。首先，AERIAL方法为处理随机部分可观测性提供了一种新的思路，能够更准确地反映分散决策的闭环信息。其次，MessySMAC基准的引入为MARL研究提供了一个更具挑战性和通用性的测试平台，有助于推动该领域的发展。最后，本文的研究成果为实际应用中的多智能体系统提供了新的解决方案，尤其是在需要处理复杂和不确定环境的场景中。

研究的亮点

本文的亮点在于： 1. 新颖的方法：AERIAL通过引入注意力机制来处理多智能体循环信息，提供了一种新的方法来近似值函数。 2. 新的基准测试：MessySMAC基准的引入为MARL研究提供了一个更具挑战性和通用性的测试平台。 3. 实验结果：AERIAL在多个基准测试中表现优异，尤其是在随机部分可观测性较高的场景中。

未来工作

未来的研究方向包括在SMACv2和混合竞争-合作环境中进一步评估AERIAL方法，并探索更多的应用场景。

总结

本文提出了一种基于注意力机制的多智能体循环嵌入方法（AERIAL），并通过MessySMAC基准测试验证了其在处理随机部分可观测性方面的优越性。该研究为多智能体强化学习领域提供了新的思路和方法，具有重要的理论和应用价值。