本文是一篇关于多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）中通信机制的综述性论文，题为《A Survey of Multi-Agent Reinforcement Learning with Communication》。该论文由Changxi Zhu、Mehdi Dastani和Shihan Wang共同撰写，均来自Utrecht University。该论文于2022年3月以预印本形式发布，并在ACM Conference 2022上发表，DOI为10.48550/arxiv.2203.08975。
多智能体强化学习（MARL）是解决多个智能体在共享环境中交互问题的关键技术，广泛应用于自动驾驶、传感器网络、机器人控制和游戏等领域。在这些场景中，智能体通常只能观察到环境的局部信息（部分可观测性），并且由于其他智能体的策略变化，环境本身也呈现出非平稳性。为了应对这些挑战，通信机制被引入到MARL中，使得智能体能够通过交换信息（如观测、意图或经验）来协调行为，从而提高整体学习性能。
尽管近年来关于带通信的多智能体强化学习（Comm-MARL）的研究迅速增长，但目前缺乏一种系统化和结构化的方法来区分和分类现有的Comm-MARL系统。本文旨在填补这一空白，提出了一种多维度的分析框架，帮助研究人员更好地设计和开发Comm-MARL系统。
本文的核心贡献在于提出了9个维度，用于分析和比较不同的Comm-MARL系统。这些维度涵盖了通信类型、通信策略、通信内容、消息组合、内部集成、通信约束、通信学习、训练方案以及控制目标等方面。通过这些维度，研究人员可以系统地设计新的Comm-MARL系统，并更好地理解现有系统的优缺点。
通信类型决定了哪些智能体可以接收消息。本文将其分为两类： - 环境中的智能体：智能体直接与其他智能体通信，通常限于邻近的智能体或特定群体。 - 代理（Proxy）：智能体通过一个中间代理进行通信，代理负责协调和转发消息。
通信策略定义了智能体如何决定何时与谁通信。本文将其分为四类： - 全通信：所有智能体之间都可以通信。 - 部分结构：通信关系由预定义的图结构决定。 - 个体控制：每个智能体独立决定是否与其他智能体通信。 - 全局控制：通过全局策略决定通信结构。
通信内容决定了智能体之间传递的信息类型。本文将其分为两类： - 现有知识：基于过去的观测或行动生成消息。 - 想象的未来知识：基于意图或未来计划生成消息。
消息组合决定了如何将接收到的多个消息整合为一个整体。本文将其分为三类： - 串联：将消息简单串联。 - 等权重：对所有消息赋予相同的权重。 - 不等权重：根据消息的重要性赋予不同的权重。
内部集成决定了如何将整合后的消息集成到智能体的学习模型中。本文将其分为三类： - 策略级：将消息作为策略模型的额外输入。 - 价值级：将消息作为价值函数的额外输入。 - 策略级与价值级结合：将消息同时集成到策略模型和价值函数中。
通信约束考虑了现实世界中的限制，如带宽限制、噪声环境等。本文将其分为三类： - 带宽限制：限制通信的带宽和容量。 - 噪声信道：考虑通信中的噪声干扰。 - 共享介质：考虑多个智能体共享通信介质时的冲突问题。
通信学习关注如何更新和调整通信协议。本文将其分为两类： - 强化学习：通过强化学习算法训练通信协议。 - 可微分学习：通过反向传播梯度来优化通信协议。
训练方案决定了如何利用智能体的经验进行训练。本文将其分为三类： - 集中式学习：所有智能体的经验集中到一个中央单元进行训练。 - 分布式学习：每个智能体独立训练。 - 集中训练与分布式执行（CTDE）：在训练时集中利用所有智能体的经验，但在执行时每个智能体独立决策。
控制目标决定了智能体的行为类型，通常分为合作、竞争和混合三种。本文根据不同的奖励配置对现有工作进行了分类。
本文通过提出9个维度的分析框架，为Comm-MARL领域的研究提供了系统化的指导。这些维度不仅帮助研究人员更好地理解现有系统的设计思路，还为未来的研究指明了方向。例如，本文指出，未来的研究可以进一步探索如何设计更高效的通信协议、如何应对现实世界中的通信约束，以及如何评估通信协议的有效性。
此外，本文还强调了参数共享在Comm-MARL中的重要性，并指出如何为异构智能体设计通信系统仍然是一个未解决的问题。这些见解为未来的研究提供了重要的参考。
本文的亮点在于其系统性和结构化的分析框架。通过9个维度的分类，本文不仅总结了现有的Comm-MARL系统，还提出了未来研究的方向。这种多维度的分析方法为研究人员提供了一个清晰的路线图，帮助他们更好地设计和优化Comm-MARL系统。
此外，本文还详细讨论了通信约束和通信学习的重要性，这些内容在现有的综述中较少涉及。本文提出的框架不仅适用于理论研究，还可以为实际应用中的系统设计提供指导。
本文是一篇关于多智能体强化学习中通信机制的综述性论文，提出了一个多维度的分析框架，帮助研究人员更好地理解和设计Comm-MARL系统。通过系统化的分类和详细的分析，本文为未来的研究提供了重要的参考和指导。