信息受限环境中的自模型自由学习与外部奖励学习对比研究

2025-01-07 Tue
自模型自由学习与有外部奖励学习在信息受限环境中的对比：一种新的强化学习框架近年来，随着网络和人工智能系统的发展，网络化学习机制受到显著的安全挑战。在强化学习（Reinforcement Learning, RL）领域，奖励信号丧失、数据包丢失以及故意的网络攻击已成为影响学习系统性能的重要障碍。针对这一问题，来自乔治亚理工学院的Prachi Pratyusha Sahoo（IEEE学生会员）和Kyriakos G. Vamvoudakis（IEEE高级会员）提出了一种依靠内部奖励信号的新型强化学习框架，称为“自模型无学习”（Self-Model-Free RL）。本文发表于2024年12月《IEEE Transactions on Artificial Intelligence》，展示了在奖赏信号丢失的情况下，如何设计可靠的策略生成方法。
背景与研究动机智能化的网络物理系统（Cyber-Physical Systems, CPS）广泛应用于如自动驾驶、治疗和娱乐机器人、智能电网等领域，凭藉其高度自治性、适应性和自愈能力。然而，这种系统的复杂通信拓扑及信息共享机制使得其容易受到恶意攻击，例如数据包丢失、无线信号干扰和传感器欺骗攻击。在恶意环境下，外部奖励信号大幅减少甚至完全丢失，传统强化学习算法在优化控制策略时面临重大挑战。
目前已有研究提出解决诸如奖励信号受损、数据包丢失和恶意攻击的方法，如在线Q学习、卡尔曼滤波信号估计、以及神经网络的信号补偿技术等。然而，现有研究仍然缺乏可同步内部补偿且具有理论保证的方法。本研究针对这一领域的空白提出了一种自适应机制，不仅能够在奖励信号丧失时提供内部补偿，还能在部分奖励信号传递时应用一种折中机制，使策略生成始终具有稳定性和最优性。
研究方法与工作流程作者设计和验证了一个基于“目标网络”（Goal Network）的强化学习框架，并提出了两种核心补偿机制：纯粹内部奖励机制 和 内部与外部奖励折中机制。
1. 方法框架该框架的核心目标是弥补在恶意干扰和信息丢失下的奖励信号损失，从而生成可靠的控制策略。具体方法包括：
- 自模型无学习（Self-Model-Free RL）补偿机制：通过构建目标网络模拟和补偿丢失的奖励信号。
- 目标网络设计与训练：设计一个能在奖励信号完全丧失（如数据包丢失）时生成替代奖励信号的目标网络。
- 折中奖励机制：对于部分奖励信号可用的情况，采用混合策略，当信号可用时使用真实奖励，当信号丢失时使用目标网络估计的奖励信号。
2. 实验设计与数据处理实验包括以下步骤：
- 线性时不变系统建模：采用一个基础案例（如弹簧-质量-阻尼系统）和一个复杂案例（如F-16战斗机飞行控制系统）测试框架性能。
- 神经网络表示与信号重构：使用目标网络估算丢失信号，同时使用演员—评论者（Actor-Critic）结构对策略权重进行逐步优化。
- 动态学习权重调整：通过误差反馈机制调整网络模型，保证网络收敛性及控制输入的稳定生成。
3. 算法设计纯内部奖励机制：系统完全依赖内部构建的奖励信号进行策略评估。目标网络动态调整权重，以最小化内部奖励与环境真实奖励之间的误差。
折中奖励机制：通过记录奖励信号可用性（定义布尔变量p(t)），在部分奖励信号可用时启用真实奖励，奖励丢失时自动切换到估算信号。混合信号在训练中动态权衡其影响。
研究结果与分析1. 理论保证作者通过Lyapunov稳定性理论证明了框架的收敛性：
- 在纯内部奖励机制下，目标网络和策略权重均具有指数级稳定性。
- 折中奖励机制中，尽管奖励信号部分丢失，策略生成仍然可以达到次优水平，并持续改进以趋近最优解。
2. 仿真实验分析实验通过弹簧-质量-阻尼系统和F-16战斗机系统进行验证：
- 纯内部奖励机制：奖励缺失导致更高的积分成本，但系统仍然能够逐步稳定。在训练初期，目标网络会因为信号估算不完全导致控制策略过大偏移，但迭代后效果可显著改进。
- 折中奖励机制：由于混合信号的动态平衡，该机制在信号丢失的不同比例下始终保证次优性的决策生成，对系统的稳定和安全具有有效性。
3. 数据与性能分析实验结果表明，练习中的累计积分成本与信息丢失比例呈正相关：
- 完全信息无法访问的情况下，纯内部奖励机制的积分成本最高。
- 折中奖励机制关键程度体现在当奖励丢失程度降低时，它可以有效减少估算误差并提升稳定性。
- 全部外部信号可用的场景下，基准Q学习算法依旧表现最佳，是理想参考。
4. 模型局限性尽管模型显示出明显优势，其最优性对信号补偿的准确性高度依赖。将研究扩展到非线性时变系统或者分布式控制场景将是未来的一个重要工作方向。
学术意义与实际价值1. 学术贡献本研究首次提出一种综合内外部奖励信号来稳定控制策略生成的强化学习补偿框架，与现有方法相比较，其独特的创新点包括：
- 同步内部补偿机制：目标网络能够实时补偿信号丢失，并在无需模型假设的情况下提供收敛理论。
- 折中机制保证稳定性：在复杂环境中动态平衡信号来源，提供针对奖励丢失的鲁棒性。
2. 实际价值该研究对网络化物理系统的更安全、更高效的部署具有重要价值。它能够：
- 提升机器人、自主车辆和电网等系统在恶意环境中的鲁棒性；
- 捕获和处理网络攻击引发的信息丢失问题，为工业智能系统的安全性提供理论保障。
总结与未来方向本研究通过提出的“自模型无学习”框架，为信息受限环境中的强化学习问题提供了创新的解决方法。作者还建议在未来研究中优化框架计算效率、扩大其应用于更高阶非线性系统的适用性，并开发面向分布环境中的协同学习机制。
本研究是强化学习和安全性研究的重要一步，为机器学习模型的稳健性和安全性提供了科学和工程上的保障。