基于折扣价值迭代的自适应评判设计在零和游戏中的应用与验证

研究背景

在控制领域，最优控制（Optimal Control）是一个核心研究方向，旨在设计和分析控制系统以优化系统性能。随着系统复杂度的增加，传统的基于哈密顿-雅可比-贝尔曼方程（Hamilton-Jacobi-Bellman, HJB）的最优控制方法面临“维度灾难”（Curse of Dimensionality）问题。为了应对这一挑战，研究者们提出了自适应动态规划（Adaptive Dynamic Programming, ADP）方法，结合强化学习（Reinforcement Learning）和函数逼近（Function Approximation）等技术，有效提升了复杂系统的控制能力。

零和游戏（Zero-Sum Games）是最优控制领域的一个重要研究方向，常用于处理具有对抗性质的动态系统问题。零和游戏的核心目标是通过设计控制策略对来优化系统性能，同时抑制对抗性扰动对系统的负面影响。然而，传统的价值迭代（Value Iteration）方法在迭代过程中无法保证策略对的可接受性，且折扣因子（Discount Factor）的引入可能导致系统稳定性问题，这成为当前研究中的一大挑战。

为此，本文提出了一种基于折扣价值迭代（Discounted Value Iteration）的自适应评判设计（Adaptive Critic Design, ACD）方法，旨在解决离散时间零和游戏的最优控制问题，并确保系统的渐近稳定性。本文的创新之处在于：1）提出了适用于非线性和线性离散时间系统的折扣价值迭代算法；2）深入探讨了折扣因子对系统稳定性的影响；3）通过电力系统和球杆系统的实际应用验证了所提出方法的有效性。

研究团队与发表信息

本文由来自北京工业大学信息科学与技术学院的Jin Ren、Ding Wang、Menghua Li和Junfei Qiao共同撰写，发表于2025年的IEEE Transactions on Automation Science and Engineering期刊。该研究得到了国家自然科学基金、国家重点研发项目和北京自然科学基金的支持。

研究方法与技术细节

问题描述

本文考虑的非线性离散时间系统模型如下：

[ x_{k+1} = f(x_k, u_k, \omega_k), \quad k \in \mathbb{N} ]

其中，( x_k ) 为系统状态，( u_k ) 为控制输入，( \omega_k ) 为扰动输入。系统的目标是通过设计控制策略对( (u_k, \omega_k) )，使得系统在对抗扰动下表现出最优性能。

折扣价值迭代算法

为了求解零和游戏问题，本文提出了基于折扣价值迭代的自适应评判设计方法。首先，定义初始成本函数 ( v_0(x_k) ) 和初始策略对 ( (u_0(x_k), \omega_0(x_k)) )。然后，通过以下步骤进行迭代优化：

1. 策略评估：根据当前策略对更新成本函数 ( v_{i+1}(x_k) )。
2. 策略改进：根据更新后的成本函数优化控制策略 ( u_i(x_k) ) 和扰动策略 ( \omega_i(x_k) )。

通过不断迭代，策略对逐渐收敛，从而近似得到最优策略对 ( (u^(x_k), \omega^(x_k)) )。

稳定性分析

在零和游戏中，折扣因子的选择对系统稳定性具有重要影响。本文通过理论分析，提出了折扣因子的选择范围及其对系统稳定性的条件。具体而言，当满足以下条件时，系统在策略对的控制下是渐近稳定的：

[ \gamma \in (\max{0, \gamma_{\min}}, 1] ]

其中，( \gamma_{\min} = 1 - u(x_k, u_i(x_k), \omega_i(x_k)) / v_i(x_k) )。

线性系统的特殊处理

对于线性系统，本文进一步探讨了折扣价值迭代算法及其稳定性分析。通过游戏代数Riccati方程（Game Algebraic Riccati Equation, GARE），本文提出了线性系统的策略评估和策略改进方法，并给出了确保系统稳定性的折扣因子选择条件。

实验结果与验证

电力系统

首先，本文以电力系统为实验对象，验证了所提出方法在线性系统中的有效性。实验结果表明，通过折扣价值迭代算法，系统状态逐渐收敛到平衡点，且迭代成本函数和策略对收敛到最优值。

球杆系统

接下来，本文以球杆系统为非线性系统的实验对象。通过实验验证，本文提出的方法能够确保系统的渐近稳定性，且获得的策略对具有可接受性。

结论与贡献

本文提出了一种基于折扣价值迭代的自适应评判设计方法，有效解决了离散时间零和游戏的最优控制问题，并确保了系统的渐近稳定性。通过理论分析和实验验证，本文为折扣因子的选择和系统稳定性的保证提供了重要依据，为复杂控制系统的最优设计提供了新的思路。

研究亮点

1. 创新性：提出了适用于非线性和线性系统的折扣价值迭代算法。
2. 理论贡献：深入探讨了折扣因子对系统稳定性的影响，提出了折扣因子的选择条件。
3. 应用价值：通过电力系统和球杆系统的实验验证了所提出方法的有效性和实用性。

未来展望

未来研究将探讨在系统模型未知的情况下，如何确定折扣因子的合适范围并确保系统的渐近稳定性。此外，本文提出的方法还可进一步扩展至其他复杂控制系统，如智能电网、机器人控制等领域，具有广泛的应用前景。