対照的分離表現学習を用いた音声保存型顔表情操作への応用 背景紹介 近年、バーチャルリアリティや映像制作、そしてヒューマンコンピュータインタラクション技術の急速な発展に伴い、顔表情操作（Facial Expression Manipulation）はコンピュータビジョンおよびグラフィックス分野で注目される研究テーマとなっています。特に、音声保存型顔表情操作（Speech-Preserving Facial Expression Manipulation, SPFEM） は、話し手の口の動きと音声との同期を維持しつつ、顔の感情表現を変更することを目指しています。この技術は人間の表情の表現力を大幅に向上させるだけでなく、仮想キャラクタ生成や映画のポストプロダクションなどの実用的なアプリケーションに...

DiffuVolume——拡散モデルに基づくステレオマッチングの新手法 研究背景と問題提起 ステレオマッチング（Stereo Matching）はコンピュータビジョン分野における重要なタスクであり、自動運転やロボットナビゲーションなどに幅広く応用されています。その中核となる目標は、一対の補正済みステレオ画像から密な視差マップ（Disparity Map）を生成することです。近年、コストボリューム（Cost Volume）に基づく手法がステレオマッチングで顕著な成功を収めています。コストボリュームは左右の画像特徴からの幾何学的情報を集約し、視差予測に豊富な文脈情報を提供します。しかし、コストボリュームには大量の冗長情報が含まれており、この冗長情報はモデルの学習を妨害し、さらなる性能向上を制限し...

自己教師あり顔表現学習における姿勢認識能力の向上 研究背景と問題提起 コンピュータビジョン分野において、顔表現学習（Facial Representation Learning）は重要な研究課題です。顔画像を分析することで、身元、感情、姿勢などの情報を抽出でき、顔表情認識（Facial Expression Recognition, FER）、顔認識（Face Recognition, FR）、頭部姿勢推定（Head Pose Estimation, HPE）といった下流タスクに役立てることができます。近年、深層畳み込みニューラルネットワーク（Deep Convolutional Neural Networks, DCNNs）は顔理解タスクで顕著な成果を挙げていますが、これらの手法は通常、大...

指表現セグメンテーションと生成のための相互監督フレームワーク 研究背景と問題提起 近年、視覚と言語の相互作用技術は人工知能分野で顕著な進展を遂げています。その中で、指表現セグメンテーション（Referring Expression Segmentation, RES）と指表現生成（Referring Expression Generation, REG）という2つのコアタスクは、それぞれ自然言語記述に基づいて画像内の対象オブジェクトを特定し、そのセグメンテーションマスクを生成する、または特定の対象に対して明確かつ正確な言語記述を生成することを目指します。これらのタスクは本質的に逆の関係にありますが、研究は通常別々に行われており、どのように相互に促進できるかを体系的に議論する方法が欠けています...

GL-MCM: ゼロショット分布外検出のためのグローバルとローカル最大概念マッチング 研究背景と問題提起 現実世界では、機械学習モデルが適用される環境には、新しいクラスのデータが自然に出現するなど、データ分布が変化することがよくあります。この現象は「分布外検出」（Out-of-Distribution Detection, OOD）と呼ばれています。未知のデータに対するモデルの信頼性を確保するために、OOD 検出は重要なタスクとなっています。しかし、従来の単一モーダルな教師あり学習手法は特定のタスクで良好なパフォーマンスを示しますが、そのトレーニングコストが高く、多様なアプリケーションシナリオに対応するのが難しいという欠点があります。 近年、CLIP（Contrastive Language...

LiDARガイドによる幾何学的プレトレーニング法が視覚中心の3D物体検出性能を向上 背景紹介 近年、マルチカメラ3D物体検出は自動運転分野で広く注目を集めています。しかし、視覚ベースの手法はRGB画像から正確に幾何学的情報を抽出する際に依然として課題があります。既存の手法では通常、深さに関連するタスクで事前学習された画像バックボーンを使用して空間情報を取得しますが、これらの方法は視点変換における重要な問題を無視しており、画像バックボーンと視点変換モジュール間での空間知識のミスマッチによりパフォーマンスが低下しています。この問題を解決するために、本論文では新しい幾何学的認識型プレトレーニングフレームワーク「GAPretrain」を提案します。 論文の出典 本論文は、林麟彦、王会杰、曾佳らによっ...

軽量級ビジョンTransformerの強力な探索のためのマスク付き画像モデリング事前学習に関する実験的研究 学術的背景 近年、自己教師あり学習（self-supervised learning, SSL）はコンピュータビジョン分野で顕著な進展を遂げています。特に、マスク付き画像モデリング（masked image modeling, MIM）事前学習法は大規模なビジョンTransformer（vision transformers, ViTs）への応用において成功し、これらのモデルに基づく下流タスクのパフォーマンスが大幅に向上しました。しかし、既存の研究は主に大規模ViTsに焦点を当てており、軽量級ViTsに対する事前学習方法とその効果についての研究は比較的少ないです。さらに、多くの研究は複...

高精度で蛋白フラグメントの抑制活性を予測する新方法：FragFoldの応用 学術背景 蛋白質間相互作用は細胞生命活動において重要な役割を果たし、ペプチド（peptides）や蛋白フラグメント（protein fragments）は特定の蛋白質界面に結合して、蛋白質機能を調節したり、甚至抑制剤として機能したりします。近年、高スループット実験技術の発展により、生細胞中での大量の蛋白フラグメントの抑制活性を測定することが可能になりました。しかし、これまで計算方法が存在せず、どの蛋白フラグメントが目標蛋白質と結合し、抑制作用を発揮するか、さらにはその結合モードを予測することはできませんでした。この研究領域の空白を埋めるために、研究者は新しい計算ツールを開発しました。 AlphaFoldの登場は蛋白質...

現代の情報過多の時代において、意思決定者は膨大な量の情報に直面しており、その全てが意思決定に関連しているわけではありません。最適な意思決定を行うために、経済学の分野では「理性の不注意モデル（Rational Inattention, RI）」が導入されました。このモデルの核心は、意思決定者が情報を「顕著性」に基づいて注意力を分配することにより、不要な情報処理コストを削減することです。しかし、従来のRIモデルは意思決定者が完全に主観的な事前分布（prior distribution）に依存すると仮定しており、実際の応用ではこの仮定が偏りを持つ可能性があります。特に、事前分布に不確実性がある場合です。 本稿では、この問題を解決するために、事前不確実性に基づく堅牢な理性の不注意モデル（Robust...

小波分析に基づく金融価格ジャンプの新しいクラスの識別に関する研究報告 学術背景 金融市場における価格ジャンプ（price jumps）とは、非常に短時間に価格が大幅に変動する現象を指し、通常は外生的要因（ニュースの発表など）または内生的要因（市場内部のフィードバックメカニズム）によって引き起こされます。これらの2つの異なるタイプの価格ジャンプを区別することは、市場のダイナミクスを理解し、極端なイベントを予測し、効果的な規制戦略を策定するために重要です。しかし、既存の研究方法は監視学習に依存することが多く、明確なラベル（ニュースイベントなど）が必要で、実際の応用では多くの価格ジャンプが明確なニュースの背景を持たないため制限があります。 より良い価格ジャンプの識別と分類、特に明確な外生的トリガー...