使用逻辑分布建模Bellman误差及其在强化学习中的应用

论文背景与研究目的 强化学习(Reinforcement Learning,RL)近年来已成为人工智能领域中一个充满活力且具有变革性的领域,其目标是通过智能体与环境的交互,实现最大化累积奖励的能力。然而,RL的应用在实际中面临着优化贝尔曼误差(Bellman Error)的挑战。这种误差在深度Q学习及相关算法中尤为关键,传统方法主要使用均方贝尔曼误差(Mean-Squared Bellman Error, MSELoss)作为标配损失函数。然而,认为贝尔曼误差服从正态分布的假设可能过于简化了RL应用中的复杂特性。正因为此,本文重新审视了RL训练中贝尔曼误差的分布,发现其更倾向于服从逻辑分布(Logistic Distribution)。 论文来源与作者介绍 本篇论文题目为”Modeling ...