本文介绍了一项关于低功耗物联网（IoT）网络中动态资源配置（Dynamic Resource Configuration, DRC）的研究，该研究由Yang Huang、Caiyong Hao、Yijie Mao和Fuhui Zhou等人共同完成，并于2021年7月发表在《IEEE Communications Letters》期刊上。该研究提出了一种基于多目标强化学习（Multi-Objective Reinforcement Learning, MORL）的动态资源配置方案，旨在解决低功耗物联网网络中频谱共享和能量效率优化的问题。
随着物联网设备的快速增长，预计到2023年，全球连接的设备中将有50%是物联网设备，其中近三分之一为无线物联网设备。为了支持如此大规模的设备连接，频谱共享被认为是一种有效的解决方案。然而，物联网通信主要以上行链路（Uplink, UL）传输短数据包为主，传统的基于授权的无线电接入方式会引入过多的信令开销，尤其是在大规模连接的情况下。因此，无授权（Grant-Free, GF）上行链路传输被认为是一种更节能的通信方式。
然而，现有的基于单目标强化学习（Single-Objective Reinforcement Learning, SORL）的方法无法在频谱干扰未知的情况下保证能量效率，尤其是在某些时间间隔内所有频域信道都被干扰的情况下。因此，本研究提出了一种基于多目标强化学习的动态资源配置方案，以同时优化长期平均吞吐量和能量消耗。
本研究将动态资源配置问题建模为一个马尔可夫决策过程（Markov Decision Process, MDP）。具体来说，研究提出了一个基于MORL的DRC方案，通过整合加权求和框架和R-learning算法来解决高维状态/动作空间的问题。研究的主要流程包括以下几个步骤：
信号模型与问题建模：研究首先建立了一个上行链路传输的信号模型，描述了接入点（Access Point, AP）与物联网设备之间的通信过程。由于AP无法获取确切的信道状态信息，且干扰模式未知，因此需要通过观察频谱利用状态和归一化吞吐量来进行资源配置决策。
多目标强化学习框架：研究提出了一个基于MORL的DRC方案，通过定义状态空间和动作空间，将资源配置问题分解为多个子问题。每个子问题都通过MORL框架进行优化，以最大化加权目标函数。
算法实现与优化：研究开发了一系列技术来应对高维状态/动作空间的挑战，包括量化频谱利用状态、减少算法的空间复杂度以及避免标准ε-greedy策略导致的次优解。研究还提出了一种新的探索策略，以避免在干扰严重的时隙中配置设备传输。
性能评估：研究通过仿真实验评估了所提出的MORL-based DRC方案的性能，并与传统的R-learning方法进行了对比。仿真结果表明，MORL-based DRC方案在决策错误率和能量效率方面显著优于传统方法。
研究的主要结果表明，基于MORL的DRC方案在存在瑞利衰落信道和视距（Line-of-Sight, LOS）信道的情况下，能够显著降低决策错误率。具体来说，在瑞利衰落信道下，MORL-based DRC的平均决策错误率可以低于传统R-learning方法的12%。此外，MORL-based DRC方案在能量效率方面也表现出色，能够在保证高吞吐量的同时，最小化能量消耗。
本研究提出了一种创新的动态资源配置方案，通过多目标强化学习框架解决了低功耗物联网网络中的频谱共享和能量效率优化问题。该方案不仅能够在不了解干扰模式的情况下为物联网设备预分配时频资源，还能保证能量高效的传输。这对于未来大规模物联网网络的部署具有重要意义，尤其是在频谱资源有限且设备能量受限的场景下。
尽管本研究取得了显著的成果，但仍有一些问题值得进一步探讨。例如，如何将核函数或神经网络与MORL框架结合，以加速算法的收敛速度，是未来研究的一个重要方向。此外，如何在更复杂的网络环境中验证该方案的性能，也是一个值得关注的问题。
本研究为低功耗物联网网络的动态资源配置提供了一种高效且节能的解决方案，具有重要的理论价值和实际应用意义。