MoonShot——運動認識マルチモーダル条件に基づく制御可能なビデオ生成と編集への一歩 研究背景と問題提起 近年、テキストからビデオへの拡散モデル（Video Diffusion Models, VDMs）は顕著な進展を遂げ、高品質で視覚的に魅力的なビデオの生成が可能になりました。しかし、既存のVDMの多くはテキスト条件に依存しており、視覚コンテンツを正確に記述する能力には限界があります。具体的には、これらの手法は通常、生成されたビデオの外観や幾何学的構造に対する細かい制御が困難であり、結果としてランダム性や偶然性に大きく依存しています。 この問題を解決するために、研究者たちは微調整拡散モデル（例：DreamBooth）を通じてパーソナライズされた生成を試みましたが、この方法では各入力画像...

Deepfake-Adapter——深層偽造検出のための二重レベルアダプタ 研究背景と問題 ディープジェネレーティブモデル（deep generative models）の急速な進化に伴い、超リアルな顔画像や動画を簡単に生成できるようになりました。これらのコンテンツは人間の目を容易に欺くことができ、悪用されると政治、エンターテインメント、社会分野で深刻な誤情報拡散問題を引き起こす可能性があります。この脅威は「ディープフェイク（Deepfake）」と呼ばれています。このセキュリティ問題に対処するために、多くのディープフェイク検出手法が提案され、訓練データとテストデータが同じ操作タイプで品質が良好な場合に優れた性能を発揮します。しかし、未見または低品質の偽造サンプルに対応する際には、これらの手法...

限られたデータにおける画像合成に関する調査 研究背景と問題提起 近年、ディープ生成モデル（Deep Generative Models）は、特に画像やビデオ生成、音声合成などのインテリジェントな作成タスクにおいて、前例のない進展を遂げてきました。しかし、これらのモデルの成功は大量のトレーニングデータと計算資源に依存しています。トレーニングデータが限られている場合、生成モデルは過学習（Overfitting）や記憶化（Memorization）の問題を引き起こしやすく、生成サンプルの品質と多様性が大幅に低下します。この制約は、医療画像生成、産業における欠陥検出、芸術作品制作など、多くの実用的なアプリケーションにとって課題となっています。 これらの問題に対処するために、研究者たちは限られたデータ...

イベントカメラに基づく自己教師ありシャッター展開法 研究背景と問題提起 コンピュータビジョン分野において、ローリングシャッター（Rolling Shutter, RS）画像から歪みのないグローバルシャッター（Global Shutter, GS）ビデオを復元することは、非常に挑戦的な課題です。RSカメラは行ごとに露光するため、動的なシーンでは空間的な歪み（例：ブレや傾き）が発生しやすく、特に高速運動のシーンで顕著になります。現在の手法は人工的な仮定や特定データセットの特性を利用してRS効果を修正できますが、これらの方法は複雑な非線形運動がある実世界のシーンでは性能が低下することが多いです。さらに、多くの手法は合成データセットに依存しており、これにより「合成から実世界」へのギャップが生じ、現実...

双空間ビデオ人物再識別に関する研究 背景紹介 人物再識別（Person Re-Identification, ReID）技術は、異なるカメラで撮影された画像やビデオシーケンスから特定の個人を識別することを目指しています。近年、深層学習技術の急速な発展に伴い、ReID技術は都市のセキュリティ、行方不明者の捜索、容疑者の追跡などの分野で大きな応用可能性を示しています。しかし、既存のReID手法は主にユークリッド空間に基づいて特徴表現学習を行い、遮蔽、背景の混雑、複雑な時空間情報モデリングといった問題に対して多くの課題に直面しています。 これらの問題を解決するために、重慶郵電大学の研究チームは「双空間ビデオ人物再識別」（Dual-Space Video Person Re-Identificati...

TryOn-Adapter——高効率な細粒度衣装アイデンティティ適応の高忠実度仮想試着 研究背景と課題 近年、仮想試着（Virtual Try-On）技術が広く注目を集めています。その核心的な目標は、与えられた衣服を特定の人物にシームレスに調整し、同時に衣服のパターンやテクスチャを歪めないようにすることです。しかし、現在の拡散モデル（Diffusion Model）に基づいた方法は、衣服のアイデンティティの一貫性を維持する点で顕著な限界があり、全パラメータの微調整を行っても完全に制御するのは困難です。さらに、これらの方法は通常、高いトレーニングコストを必要とするため、その幅広い応用が制限されています。 これらの問題を解決するために、本研究では新しいフレームワーク「TryOn-Adapter」...

対照的分離表現学習を用いた音声保存型顔表情操作への応用 背景紹介 近年、バーチャルリアリティや映像制作、そしてヒューマンコンピュータインタラクション技術の急速な発展に伴い、顔表情操作（Facial Expression Manipulation）はコンピュータビジョンおよびグラフィックス分野で注目される研究テーマとなっています。特に、音声保存型顔表情操作（Speech-Preserving Facial Expression Manipulation, SPFEM） は、話し手の口の動きと音声との同期を維持しつつ、顔の感情表現を変更することを目指しています。この技術は人間の表情の表現力を大幅に向上させるだけでなく、仮想キャラクタ生成や映画のポストプロダクションなどの実用的なアプリケーションに...

DiffuVolume——拡散モデルに基づくステレオマッチングの新手法 研究背景と問題提起 ステレオマッチング（Stereo Matching）はコンピュータビジョン分野における重要なタスクであり、自動運転やロボットナビゲーションなどに幅広く応用されています。その中核となる目標は、一対の補正済みステレオ画像から密な視差マップ（Disparity Map）を生成することです。近年、コストボリューム（Cost Volume）に基づく手法がステレオマッチングで顕著な成功を収めています。コストボリュームは左右の画像特徴からの幾何学的情報を集約し、視差予測に豊富な文脈情報を提供します。しかし、コストボリュームには大量の冗長情報が含まれており、この冗長情報はモデルの学習を妨害し、さらなる性能向上を制限し...

自己教師あり顔表現学習における姿勢認識能力の向上 研究背景と問題提起 コンピュータビジョン分野において、顔表現学習（Facial Representation Learning）は重要な研究課題です。顔画像を分析することで、身元、感情、姿勢などの情報を抽出でき、顔表情認識（Facial Expression Recognition, FER）、顔認識（Face Recognition, FR）、頭部姿勢推定（Head Pose Estimation, HPE）といった下流タスクに役立てることができます。近年、深層畳み込みニューラルネットワーク（Deep Convolutional Neural Networks, DCNNs）は顔理解タスクで顕著な成果を挙げていますが、これらの手法は通常、大...

指表現セグメンテーションと生成のための相互監督フレームワーク 研究背景と問題提起 近年、視覚と言語の相互作用技術は人工知能分野で顕著な進展を遂げています。その中で、指表現セグメンテーション（Referring Expression Segmentation, RES）と指表現生成（Referring Expression Generation, REG）という2つのコアタスクは、それぞれ自然言語記述に基づいて画像内の対象オブジェクトを特定し、そのセグメンテーションマスクを生成する、または特定の対象に対して明確かつ正確な言語記述を生成することを目指します。これらのタスクは本質的に逆の関係にありますが、研究は通常別々に行われており、どのように相互に促進できるかを体系的に議論する方法が欠けています...