本文发表于《Journal of Modern Power Systems and Clean Energy》2022年5月第10卷第3期，由Sichen Li、Weihao Hu、Di Cao、Tomislav Dragičević、Qi Huang、Zhe Chen和Frede Blaabjerg共同撰写。研究的主要目标是利用深度强化学习（Deep Reinforcement Learning, DRL）技术，优化电动汽车（Electric Vehicle, EV）的充电管理策略，以降低车主的充电成本。

研究背景

随着电动汽车的普及，减少空气污染和传统碳能源消耗的需求日益增加。然而，现有的研究大多关注电动汽车的社会效益，而忽视了其对车主的经济效益。考虑到电动汽车的经济效益有助于推动汽车行业的转型并增加节能和环保效益，本文旨在通过优化充电策略，降低单个车主的充电成本，从而促进电动汽车的购买。由于电力公司通常采用分时电价（Time-of-Use, TOU）来平衡电力需求曲线，车主的充电成本受到充电/放电时间安排的影响。然而，电动汽车的充电/放电安排面临电价波动和车主通勤行为随机性的挑战，因此需要一种能够克服这些挑战的调度方法。

研究方法

本文提出了一种基于深度强化学习的充电管理方法，将充电问题建模为马尔可夫决策过程（Markov Decision Process, MDP），并使用改进的长短期记忆（Long Short-Term Memory, LSTM）神经网络作为表示层，从电价信号中提取时间特征。为了解决MDP问题，本文采用了深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）算法，该算法具有连续动作空间，能够根据电价自动调整充电策略，从而降低车主的充电成本。

研究流程

1. 问题建模：将电动汽车的充电过程建模为MDP，状态空间包括电池剩余容量和前n小时的电价，动作空间为充电/放电功率，奖励函数考虑了充电成本、电池安全运行和车主的驾驶需求。
2. 特征提取：使用改进的LSTM网络（Janet）从电价数据中提取时间特征，辅助DDPG算法进行决策。
3. 训练过程：训练过程分为两个阶段，首先训练特征分析模型（Feature Analysis Model, FAM），然后训练决策模型（Decision Model, DM）。FAM通过监督学习从历史电价数据中提取特征，DM则通过DRL与环境交互，学习最优的充电策略。
4. 实验设置：实验使用Fiat 500e电动汽车的电池数据，最大充电功率为6 kW，最大放电功率为-6 kW。实验环境基于Python和TensorFlow实现。

主要结果

1. 训练结果：FAM的训练误差逐渐减小，表明模型能够有效学习电价的时间模式。DM的训练过程中，累积奖励在4200次迭代后显著增加，并在210000次迭代后趋于稳定，表明DRL方法能够学习到有效的充电策略。
2. 模型性能：在100天的测试数据中，Janet模型的预测误差最小，且与其他模型相比，Janet模型在降低充电成本方面表现最佳。实验结果表明，本文提出的方法能够根据电价波动自动调整充电/放电行为，显著降低车主的充电成本。
3. 对比实验：与未管理策略相比，本文提出的方法能够将充电成本降低高达70.2%。与其他基准方法相比，本文方法在连续动作空间下的表现优于离散动作空间的方法。

结论

本文提出了一种基于深度强化学习的电动汽车充电管理方法，结合了深度学习的特征提取能力和强化学习的决策能力，能够有效应对电价波动和车主通勤行为的随机性。实验结果表明，该方法能够显著降低车主的充电成本，具有较高的应用价值。未来的研究将探讨大规模电动汽车充电管理中的时空模式优化问题。

研究亮点

1. 创新性：本文首次将改进的LSTM网络（Janet）与DDPG算法结合，用于电动汽车充电管理，显著提高了充电策略的优化效果。
2. 实用性：该方法能够根据车主的驾驶需求和经济偏好，自适应调整充电策略，具有较高的实际应用价值。
3. 对比优势：与现有的充电管理方法相比，本文提出的方法在降低充电成本方面表现更为优异，尤其是在连续动作空间下的优化效果显著。

研究意义

本文的研究不仅为电动汽车充电管理提供了新的技术手段，还为电力系统的智能优化提供了理论支持。通过降低车主的充电成本，本文的研究有助于推动电动汽车的普及，进而促进能源结构的转型和环境保护。