学術的背景 機械学習とニューラルネットワークの分野において、継続学習（Continual Learning）は重要な研究テーマです。継続学習の目標は、モデルが一連のタスクにおいて新たな知識を継続的に学習しつつ、既に学習した古い知識を忘れないようにすることです。しかし、既存の継続学習手法は主にカタストロフィックフォゲッティング（Catastrophic Forgetting）という課題に直面しています。カタストロフィックフォゲッティングとは、モデルが新しいタスクを学習する際に、以前に学習した知識を急速に忘れてしまい、古いタスクの性能が大幅に低下する現象です。この問題は現実のアプリケーションにおいて特に深刻で、多くのタスクが変化する環境下で継続的に学習し適応する必要があるためです。 この問題を解...

SEAFormer++——モバイルビジョン認識のための効率的なTransformerアーキテクチャ 研究背景と問題提起 近年、コンピュータビジョン分野では、畳み込みニューラルネットワーク（CNN）からTransformerベースの手法への大きな変革が起こりました。しかし、Vision Transformerは多くのタスクで優れたグローバルコンテキストモデリング能力を示す一方で、その高い計算コストとメモリ要件により、特に高解像度画像を扱う場合、モバイルデバイスへの展開が困難です。低遅延と高効率を求めるモバイルデバイスに対応するため、研究者たちは局所注意機構、軸方向注意（Axial Attention）、動的グラフメッセージパッシングなどの軽量化手法を提案してきました。しかし、これらの方法でも高...

LiDARガイドによる幾何学的プレトレーニング法が視覚中心の3D物体検出性能を向上 背景紹介 近年、マルチカメラ3D物体検出は自動運転分野で広く注目を集めています。しかし、視覚ベースの手法はRGB画像から正確に幾何学的情報を抽出する際に依然として課題があります。既存の手法では通常、深さに関連するタスクで事前学習された画像バックボーンを使用して空間情報を取得しますが、これらの方法は視点変換における重要な問題を無視しており、画像バックボーンと視点変換モジュール間での空間知識のミスマッチによりパフォーマンスが低下しています。この問題を解決するために、本論文では新しい幾何学的認識型プレトレーニングフレームワーク「GAPretrain」を提案します。 論文の出典 本論文は、林麟彦、王会杰、曾佳らによっ...

軽量級ビジョンTransformerの強力な探索のためのマスク付き画像モデリング事前学習に関する実験的研究 学術的背景 近年、自己教師あり学習（self-supervised learning, SSL）はコンピュータビジョン分野で顕著な進展を遂げています。特に、マスク付き画像モデリング（masked image modeling, MIM）事前学習法は大規模なビジョンTransformer（vision transformers, ViTs）への応用において成功し、これらのモデルに基づく下流タスクのパフォーマンスが大幅に向上しました。しかし、既存の研究は主に大規模ViTsに焦点を当てており、軽量級ViTsに対する事前学習方法とその効果についての研究は比較的少ないです。さらに、多くの研究は複...

研究背景と研究意義 近年、ビデオ理解分野における弱教師ありオンライン活動検出（Weakly Supervised Online Activity Detection, WS-OAD）は、高度なビデオ理解の重要な課題として広く注目されています。この課題の主な目標は、安価なビデオレベルのアノテーションのみを利用して、ストリーミングビデオ内で進行中の活動をフレーム単位で検出することです。このタスクは、自動運転、公共安全監視、ロボットナビゲーション、拡張現実など、多くの実用的な応用分野で重要な価値を持っています。 完全教師あり手法（Fully Supervised Methods）はオンライン活動検出（OAD）で顕著な進展を遂げましたが、フレームレベルの密なアノテーション（Frame-level A...

深層顔認識におけるモデル盗用検出と保護：サンプル相関に基づく革新研究 背景と研究課題 近年、深層学習技術の急速な発展により、顔認識分野は飛躍的な進歩を遂げています。しかし、同時に商用顔認識モデルは知的財産権の侵害リスクに直面しています。モデル盗用攻撃は、モデルのブラックボックスまたはホワイトボックスアクセスを通じて、同等の機能を持つモデルを複製することを可能にし、モデル所有者の検出を回避します。このような攻撃は、知的財産権の侵害だけでなく、商業利益やプライバシーの安全性にも深刻な脅威をもたらします。 この課題に対応するために、モデル指紋法が重要な盗用検出手段として注目されています。従来の方法は主に可搬性のある対抗サンプルを利用してモデル指紋を生成しますが、これらの方法は対抗学習や転移学習に対...

非侵入性胶質腫瘤の等級分類に関する研究概要：知識蒸留に基づく軽量な畳み込みニューラルネットワーク 背景紹介 膠質腫瘍は中枢神経系の主要な腫瘍であり、早期検出が非常に重要です。世界保健機関（WHO）は膠質腫瘍をⅠ級からⅣ級に分類しており、Ⅰ級とⅡ級は低級膠質腫瘍（LGG）、Ⅲ級とⅣ級は高級膠質腫瘍（HGG）です。膠質腫瘍を正確に分類することは生存率の評価にとって非常に重要です。 磁気共鳴画像法（MRI）は医学の分野で膠質腫瘍の診断と治療によく使用される方法です。現在、多くの研究者が機械学習や深層学習の方法で膠質腫瘍を分類しています。例えば、Zacharakiらはサポートベクターマシン（SVM）アルゴリズムをMRI画像に適用して膠質腫瘍を分類することに成功しました。一方、Fatemehらは畳み込...

プロトタイプに基づくサンプル加重ディスティレーション統一フレームワークの欠損モダリティ感情分析への応用 研究背景 感情分析は自然言語処理(NLP)における重要な分野であり、ソーシャルメディアプラットフォームの発展と共に、人々は短いビデオクリップを通じて感情を表現する傾向が強まっています。これによりマルチモーダルデータが急速に増加しています。しかし、現実生活ではモダリティ欠損の状況がよく発生します。たとえば、音声が失われたり、カメラが遮られたり、音声の転記ミスなどが原因です。このような状況では、欠損モダリティの感情分析が重要であり、かつ困難な課題となります。マルチモーダルの異質性は、すべてのモダリティをマルチモーダルネットワーク上で同じ目標に最適化しようとするときに、特にモダリティ欠損の場合に...

合成支援の事前学習とパッチレベルの特徴アライメントによる多カテゴリ子宮頸部病変細胞検出の知識蒸留 背景と研究の意義 子宮頸癌は女性の生命と健康を深刻に脅かす疾患である。国際がん研究機関（IARC）のデータによると、2020年には世界で新たに約60.4万件の子宮頸癌の症例があり、約34.2万件の死亡例があった（Sung et al., 2021）。早期診断とスクリーニングは子宮頸癌を効果的に予防し、治療することができるが、診断の遅れは深刻な合併症や生命の危険のリスクを増加させる（Schiffman, Castle, Jeronimo, Rodriguez, & Wacholder, 2007）。現在、世界各地の健康組織は、子宮頸癌予防と治療の有効な方法として早期スクリーニングを推奨している（A...

医学画像分割のためのモデル異質半教師付きフェデレーテッドラーニング 背景紹介 医学画像分割は臨床診断において非常に重要な役割を果たし、医師が病状を識別し分析するのを助けます。しかし、このタスクは通常、敏感なデータ、プライバシー問題、高価なアノテーションコストなどの課題に直面しています。現在の研究は主に個別の協力訓練医療分割システムに焦点を当てていますが、分割アノテーションを取得することが時間がかかり労力を要するという点を見落としています。どのようにしてローカルモデルの個別化を維持しながら、アノテーションコストと分割性能をバランスさせるかが重要な研究方向となっています。そこで、本研究は新たなモデル異質半教師付きフェデレーテッドラーニングフレームワークを提案します。 論文出典 この論文は「Mod...