論文の背景と研究目的 強化学習（Reinforcement Learning, RL）は近年、人工知能分野で非常に活発かつ変革的な分野となっており、その目的はエージェントと環境との相互作用を通じて累積報酬を最大化する能力を実現することです。しかし、実際にRLを応用する際にはベルマン誤差（Bellman Error）の最適化という課題が直面しています。この誤差は深層Q学習などの関連アルゴリズムで特に重要で、従来の方法は主に平均二乗ベルマン誤差（Mean-Squared Bellman Error, MSELoss）を標準の損失関数として使用しています。ただし、ベルマン誤差が正規分布に従うという仮定は、RL応用における複雑な特性を過度に単純化している可能性があります。したがって、本論文はRL訓練...

強化学習に基づく現実世界でのヒューマノイドロボットの歩行 背景紹介 ヒューマノイドロボットは多様な環境で自主的に作業する潜在力を持ち、工場での労働力不足を緩和し、在宅老人を支援し、新しい惑星の開拓にも寄与することが期待されています。従来のコントローラーは特定のシナリオで優れたパフォーマンスを示していますが、新しい環境への適応性には依然として課題があります。そこで、本論文では完全に学習に基づく方法を提案し、現実世界におけるヒューマノイドロボットの運動制御を実現します。 研究動機 従来の制御方法は安定したロバストな運動制御の実現において大きな進展が見られますが、その適応性と汎用性には限界があります。一方で、学習に基づく方法は多様なシミュレーションまたは実環境から学習することができ、徐々に注目を集...

背景紹介 近年、強化学習（Reinforcement Learning, RL）はさまざまな複雑なタスクの解決においてその有効性を示してきた。しかし、多くの現実世界の意思決定と制御の問題は、複数の相互に対立する目標を含む。これらの目標の相対的な重要性（選好）は、異なる状況でバランスを取る必要がある。パレート最適解（Pareto optimal）の解決策は理想的とされるが、環境の不確実性（例えば、環境の変化や観察ノイズ）は、エージェントが次善の戦略を取ることを引き起こす可能性がある。 この問題に対処するために、Xiangkun He、Jianye Haoなどは、《Robust Multiobjective Reinforcement Learning Considering Environme...

伝統的な表現学習手法は、通常、正規性、疎性などの望ましい性質を達成するために、固定の基底関数アーキテクチャを設計します。一方、深層強化学習の考え方は、設計者が表現の性質をコーディングするのではなく、データの流れが表現の性質を決定し、適切な訓練スキームの下で良い表現が自発的に現れるようにすることです。 この研究では、深層強化学習システムで学習された表現(representation)の性質を探求しています。この研究は、2つの観点を組み合わせ、実証分析を通じて、強化学習におけるスムーズな転移を促進する表現の性質を探索しています。著者らは6種類の表現特性を提案し、25,000以上のエージェント設定タスクで評価を行いました。彼らは、ピクセルベースのナビゲーション環境で、ソースタスクと転移タスクが異な...