GL-MCM: ゼロショット分布外検出のためのグローバルとローカル最大概念マッチング 研究背景と問題提起 現実世界では、機械学習モデルが適用される環境には、新しいクラスのデータが自然に出現するなど、データ分布が変化することがよくあります。この現象は「分布外検出」（Out-of-Distribution Detection, OOD）と呼ばれています。未知のデータに対するモデルの信頼性を確保するために、OOD 検出は重要なタスクとなっています。しかし、従来の単一モーダルな教師あり学習手法は特定のタスクで良好なパフォーマンスを示しますが、そのトレーニングコストが高く、多様なアプリケーションシナリオに対応するのが難しいという欠点があります。 近年、CLIP（Contrastive Language...

LiDARガイドによる幾何学的プレトレーニング法が視覚中心の3D物体検出性能を向上 背景紹介 近年、マルチカメラ3D物体検出は自動運転分野で広く注目を集めています。しかし、視覚ベースの手法はRGB画像から正確に幾何学的情報を抽出する際に依然として課題があります。既存の手法では通常、深さに関連するタスクで事前学習された画像バックボーンを使用して空間情報を取得しますが、これらの方法は視点変換における重要な問題を無視しており、画像バックボーンと視点変換モジュール間での空間知識のミスマッチによりパフォーマンスが低下しています。この問題を解決するために、本論文では新しい幾何学的認識型プレトレーニングフレームワーク「GAPretrain」を提案します。 論文の出典 本論文は、林麟彦、王会杰、曾佳らによっ...

軽量級ビジョンTransformerの強力な探索のためのマスク付き画像モデリング事前学習に関する実験的研究 学術的背景 近年、自己教師あり学習（self-supervised learning, SSL）はコンピュータビジョン分野で顕著な進展を遂げています。特に、マスク付き画像モデリング（masked image modeling, MIM）事前学習法は大規模なビジョンTransformer（vision transformers, ViTs）への応用において成功し、これらのモデルに基づく下流タスクのパフォーマンスが大幅に向上しました。しかし、既存の研究は主に大規模ViTsに焦点を当てており、軽量級ViTsに対する事前学習方法とその効果についての研究は比較的少ないです。さらに、多くの研究は複...

高精度で蛋白フラグメントの抑制活性を予測する新方法：FragFoldの応用 学術背景 蛋白質間相互作用は細胞生命活動において重要な役割を果たし、ペプチド（peptides）や蛋白フラグメント（protein fragments）は特定の蛋白質界面に結合して、蛋白質機能を調節したり、甚至抑制剤として機能したりします。近年、高スループット実験技術の発展により、生細胞中での大量の蛋白フラグメントの抑制活性を測定することが可能になりました。しかし、これまで計算方法が存在せず、どの蛋白フラグメントが目標蛋白質と結合し、抑制作用を発揮するか、さらにはその結合モードを予測することはできませんでした。この研究領域の空白を埋めるために、研究者は新しい計算ツールを開発しました。 AlphaFoldの登場は蛋白質...

現代の情報過多の時代において、意思決定者は膨大な量の情報に直面しており、その全てが意思決定に関連しているわけではありません。最適な意思決定を行うために、経済学の分野では「理性の不注意モデル（Rational Inattention, RI）」が導入されました。このモデルの核心は、意思決定者が情報を「顕著性」に基づいて注意力を分配することにより、不要な情報処理コストを削減することです。しかし、従来のRIモデルは意思決定者が完全に主観的な事前分布（prior distribution）に依存すると仮定しており、実際の応用ではこの仮定が偏りを持つ可能性があります。特に、事前分布に不確実性がある場合です。 本稿では、この問題を解決するために、事前不確実性に基づく堅牢な理性の不注意モデル（Robust...

小波分析に基づく金融価格ジャンプの新しいクラスの識別に関する研究報告 学術背景 金融市場における価格ジャンプ（price jumps）とは、非常に短時間に価格が大幅に変動する現象を指し、通常は外生的要因（ニュースの発表など）または内生的要因（市場内部のフィードバックメカニズム）によって引き起こされます。これらの2つの異なるタイプの価格ジャンプを区別することは、市場のダイナミクスを理解し、極端なイベントを予測し、効果的な規制戦略を策定するために重要です。しかし、既存の研究方法は監視学習に依存することが多く、明確なラベル（ニュースイベントなど）が必要で、実際の応用では多くの価格ジャンプが明確なニュースの背景を持たないため制限があります。 より良い価格ジャンプの識別と分類、特に明確な外生的トリガー...

大言語モデルにおける分布外汎化と組み合わせメカニズムの研究 論文の背景 近年、大言語モデル（Large Language Models, LLMs）は、GPT-4 などのように新規タスクを処理する際、驚くべき創造性を示しています。通常、少数の例で問題を解決できます。これらのタスクは、モデルが訓練データとは異なる分布上で汎化することを要求します。これは「分布外汎化」（Out-of-Distribution Generalization, OOD Generalization）と呼ばれます。LLMs は大きな成功を収めていますが、どのように分布外汎化を達成するかは未解明のままでした。本論文では、LLMs が隠れたルールに基づいて生成されるタスクでのパフォーマンスに焦点を当て、特に「帰納ヘッド」（...

ディスカウント価値反復に基づく適応的批評設計のゼロサムゲームへの応用と検証 研究背景 制御分野において、最適制御（Optimal Control）は重要な研究テーマであり、システムの性能を最適化するための制御システムの設計と分析を目的としています。システムの複雑さが増すにつれて、伝統的なハミルトン-ヤコビ-ベルマン方程式（Hamilton-Jacobi-Bellman, HJB）に基づく最適制御手法は「次元の呪い」（Curse of Dimensionality）という課題に直面しています。この課題に対処するため、研究者たちは適応的動的計画法（Adaptive Dynamic Programming, ADP）を提案し、強化学習（Reinforcement Learning）や関数近似（Fu...

複数のドローンを用いた効率的な分散型時系列プランナーによる時空間的な山火事予防制御 学術的背景 山火事は、世界的に生物多様性と資源の持続可能性に対する重大な脅威であり、特に初期段階で未制御のままであれば、その規模は急速に拡大し、深刻な生態系の破壊を引き起こす可能性があります。近年、無人航空機（Unmanned Aerial Vehicles, UAVs）を活用した多ドローンシステムが山火事予防制御の分野で徐々に導入され、主に人間が危険な環境にさらされるリスクを低減し、緊急対応の効率を向上させるために用いられています。しかし、これまでの研究は、検索、監視、または消火といった単一の段階に限定されることが多く、複数のドローンの協調タスクに関する包括的な研究は不足しています。特に、資源が限られ、ドロ...

多段不等長プロセスの投影重み付き動的時間伸縮監視手法 学術的背景 現代の製造業において、多段プロセス（バッチ処理や遷移プロセスなど）のオンライン監視は、製品品質の向上や故障リスクの低減に不可欠です。しかし、操作条件の変化により、これらのプロセスの操作時間はしばしば不均一であり、監視に大きな課題をもたらします。従来の動的時間伸縮（Dynamic Time Warping, DTW）手法はオフライン同期には使用可能ですが、オンラインデータを処理する際には、進行中のバッチと完了した履歴バッチを効果的に整合させることができません。これには、両者の進展に固有の差異があるためです。さらに、従来手法では操作プロセスにおける時間スケールの故障を無視することが多く、全体的な監視性能を弱める要因となっています。...