学術的背景 深層強化学習（Deep Reinforcement Learning, DRL）は、ゲーム、ロボット、ナビゲーション、コンピュータビジョン、金融など、さまざまな分野で顕著な成果を上げています。しかし、既存のDRLアルゴリズムは、一般的にサンプル効率が低いという問題を抱えています。つまり、理想的な性能を達成するためには、大量のデータとトレーニングステップが必要です。特に連続動作タスクでは、状態-アクション空間の高次元性により、従来のDRLアルゴリズムはエピソード記憶（Episodic Memory）を効果的に活用してアクション選択を導くことが難しく、サンプル効率がさらに低下します。 エピソード記憶は、非パラメトリック制御手法の一つであり、高報酬の履歴経験を記憶することでサンプル効率...

深層循環型強化学習と連合学習を用いた産業IoTトラフィックの侵入検知手法 学術背景 産業用IoT（Industrial Internet of Things, IIoT）の急速な発展は、スマート工場や産業システムに大きな変革をもたらしました。IIoTは、インターネットを介してさまざまな産業デバイスを接続し、データ交換、遠隔制御、インテリジェントな意思決定を実現しました。しかし、このシームレスな接続性と膨大なデバイスネットワークは、産業システムがより複雑で多様なサイバーセキュリティリスクに直面する結果となりました。現実のIIoTシナリオにおいて、ネットワーク攻撃はデータ漏洩、データ操作、サービス拒否（denial of service, DoS）、および工場の生産中断などの深刻な影響を引き起こ...

戦略合意に基づく分散型決定性マルチエージェント強化学習研究レポート 強化学習（Reinforcement Learning, RL）は近年、ロボティクス、スマートグリッド、自動運転などの多くの分野で顕著な進展を遂げています。しかし、現実のシナリオでは、マルチエージェント（Multi-Agent Reinforcement Learning, MARL）の協調学習がしばしば要求されます。このような問題の中心的な課題は、通信能力の制約やプライバシー保護の条件下で、効率的なマルチエージェント協調強化学習アルゴリズムを設計することです。現在の多くのMARLアルゴリズムは、広く使用されている集中型訓練-分散型実行（Centralized Training with Decentralized Exec...

非専門家ポリシー強化学習に基づくドローンの視覚制限環境における障害回避能力の向上に関する研究 近年、ドローン（Unmanned Aerial Vehicle, UAV）はその卓越した機動性と多様な機能性により、荷物の配送、リスク評価、緊急救助といった民間分野で広く利用されています。しかし、ドローンが遂行するミッションの複雑性、範囲、持続時間が増加するにつれて、特に混雑した高い不確実性の環境で障害回避を実現することが大きな課題となっています。しかし、従来のグローバルナビゲーション手法は通常、視覚が制限された条件下での障害シナリオを処理することが難しく、全体的な情報に依存しています。本研究では、このようなシナリオでの障害回避問題に取り組み、ドローンのリアルタイムナビゲーション能力を向上させること...

衛星支援の6G広域エッジインテリジェンス：遠隔IoTサービス向け動的認識タスクオフロードおよびリソース配分 背景紹介 6G移動通信ネットワークの到来に伴い、従来のモノのインターネット（IoT, Internet of Things）アーキテクチャは、グローバルな接続と幅広い人工知能（AI）の能力を統合したスマート万物インターネット（IoE, Internet of Everything）の新しいパラダイムへと徐々に変化しています。しかし、地上ネットワークには複雑な地形や遠隔地を完全にカバーすることができないという制限があります。低軌道（LEO, Low Earth Orbit）衛星技術の急速な発展により、この課題を解決するための新たな希望が生まれています。非地上ネットワーク（NTN, Non...

深層強化学習を用いた液体レンズ顕微鏡の精密自動焦点技術 学術的背景 顕微鏡イメージングは、科学研究、生物医学研究、および工学アプリケーションにおいて重要な役割を果たしています。しかし、従来の顕微鏡とその自動焦点技術は、システムの小型化と迅速で精密な焦点調整を実現する上で、ハードウェアの制約とソフトウェアの速度の遅さに直面しています。従来の顕微鏡は通常、複数の固定焦点レンズと機械構造を組み合わせており、拡大や焦点調整などのイメージング機能を実現していますが、これにより装置が大きく、焦点調整が遅く、狭い空間での迅速な操作が困難です。液体レンズ（liquid lens）は、機械部品がなく、電気信号を調整することで焦点を合わせることができるため、小型、高速応答、低コストといった利点を持ち、これらの問...

深層強化学習で二足ロボットに敏捷なサッカースキルを付与 背景説明 エージェントが物理世界で敏捷性、柔軟性、理解力を示すことは、人工知能（Artificial Intelligence, AI）研究の長年の目標の一つです。しかし、動物や人間は複雑な身体の動きを流暢にこなすだけでなく、環境を感知し理解し、身体を使って世界で複雑な目標を達成することができます。歴史的に、複雑な運動能力を持つ知的な身体エージェントを作ろうとする試みは長く続いており、それはシミュレーション環境でも現実の環境でも同様です。近年の技術の急速な進歩、特に学習に基づく方法論の進展により、深層強化学習（Deep Reinforcement Learning, Deep RL）が、シミュレーションキャラクターでも物理ロボットでも、...