強化学習における神経網表現の性質の調査
伝統的な表現学習手法は、通常、正規性、疎性などの望ましい性質を達成するために、固定の基底関数アーキテクチャを設計します。一方、深層強化学習の考え方は、設計者が表現の性質をコーディングするのではなく、データの流れが表現の性質を決定し、適切な訓練スキームの下で良い表現が自発的に現れるようにすることです。
この研究では、深層強化学習システムで学習された表現(representation)の性質を探求しています。この研究は、2つの観点を組み合わせ、実証分析を通じて、強化学習におけるスムーズな転移を促進する表現の性質を探索しています。著者らは6種類の表現特性を提案し、25,000以上のエージェント設定タスクで評価を行いました。彼らは、ピクセルベースのナビゲーション環境で、ソースタスクと転移タスクが異なる目標位置に対応する状況において、様々な補助損失を持つ深層Q学習エージェントを使用して実験を行いました。
研究者らは、システマティックにタスクの類似性を変化させ、転移パフォーマンスに関連する表現特性を測定することで、なぜある表現が転移に適しているかをより良く理解するための手法を開発しました。彼らはさらに、この手法の一般性を実証し、レインボーエージェントがアタリ2600のゲームモード間で成功裏に転移する際に学習された表現を調査しました。
主な発見は以下の通りです。
補助タスクは転移に有利な表現を促進できますが、ReLUネットワークでは多くの補助タスクがスクラッチから学習するよりも劣っていました。
疎活性化関数FTAを使用することが転移能力を向上させる重要な要因であり、補助タスクの有無にかかわらず、FTA表現は持続的に転移しました。
ReLU表現は非常に類似したタスクにうまく転移できますが、類似性が低いタスクへの転移ではFTAよりもはるかに劣っていました。
線形関数近似は転移を実現できず、表現が非線形値関数に入力されたときのパフォーマンスが大幅に向上しました。
最適な転移表現は、高い複雑度削減、中程度から高い動的意識、多様性、中程度の正規性と疎性を持っていました。
研究者らは、表現とその性質を調査するためのシステマティックなアプローチを提案しました。反復的な実験設計、性質測定セットの開発、ハイパーパラメータの調整、大量のデータの可視化を通じて、上記の発見に至りました。
著者らは、この手法をアタリ2600のゲームモード間の表現転移の理解に適用し、レインボーエージェントが学習した表現は、迷路環境で最適なFTA表現と同様の性質(高い複雑度削減、高い正規性と疎性、中程度の多様性)を持つことを発見しました。これは、提案された性質と手法が意味のあるものであることを示しています。
この作業は、定量的な分析手法を提供することで、強化学習で学習された表現の理解に有益な貢献をしています。研究結果は、より良い表現学習アルゴリズムを設計するための洞察を提供しています。