少量のピクセルラベルと点群データを用いた自動車運転シーンの弱教師ありセマンティックセグメンテーション

背景と研究課題

セマンティックセグメンテーションは、コンピュータビジョンにおける重要な課題の一つであり、自動運転などの分野で広く応用されています。しかし、従来の完全教師ありセグメンテーション手法では、大量のピクセル単位のアノテーションが必要であり、そのコストは非常に高いです。
弱教師ありセグメンテーション（Weakly Supervised Semantic Segmentation、WSSS）は、ラベル付きデータが少ない状況で高精度なセグメンテーションを実現することを目的とし、画像ラベルやバウンディングボックス、点レベルのラベルなどの粗いアノテーションを利用して、ピクセル単位のセグメンテーションを行います。

既存のWSSS手法は主にCAM（Class Activation Map）に基づいて初期のセグメンテーション種を生成しますが、複雑な自動車運転シーンではその性能が不十分です。運転シーン画像には多くの物体カテゴリが含まれ、オクルージョンや重なりが頻繁に発生します。その結果、画像ラベルに基づいた従来のWSSS手法では高精度なセグメンテーションが困難です。

これらの課題に対処するため、本研究では、少量の点ラベルと点群データを組み合わせた新しいWSSSフレームワークを提案します。このフレームワークは、点群データの特徴を活用して擬似ラベルを生成し、セグメンテーション性能を向上させます。この方法は、追加の点群データのアノテーションを必要としません。

論文情報

本研究「Few Annotated Pixels and Point Cloud Based Weakly Supervised Semantic Segmentation of Driving Scenes」は、International Journal of Computer Vision に掲載されました。著者にはHuimin Ma、Sheng Yi、Shijie Chen、Jiansheng Chen、Yu Wangが含まれます。研究チームは北京科技大学と清華大学に所属しています。本研究は2024年1月18日に投稿され、2024年10月9日に採択されました。

研究方法とフレームワーク

1. フレームワーク概要

本研究では、2次元（RGB画像）と3次元（点群データ）の特徴を統合した多次元特徴融合フレームワークを提案しました。このフレームワークは以下の3つのモジュールで構成されています：

• 2D擬似ラベル生成モジュール：RGB画像から高次および低次の特徴を抽出し、点ラベルを使用して初期の擬似ラベルを生成します。
• 3D特徴クラスタリングモジュール：点群データを無監督でクラスタリングし、インスタンスマスクを生成してRGB画像に投影します。
• 多層特徴融合モジュール：2D擬似ラベルと3D投影マスクを融合し、より正確な最終的な擬似ラベルを生成します。

2. 擬似ラベル生成手法

2.1 初期擬似ラベルの生成

• 特徴抽出：ピクセルレベル（RGB値やスーパー・ピクセル）、外観レベル（色分布やエッジ特徴）、およびセマンティックレベル（顕著性、クラス活性化マップ）の特徴を抽出します。
• 点ラベルの役割：カテゴリごとの点ラベルの位置情報を利用し、EMアルゴリズムを用いて各カテゴリの代表的な特徴ベクトルを計算します。
• ラベル割り当て：点ラベルから生成した特徴ベクトルを用いて、各ピクセルのカテゴリ類似度を計算し、閾値を超えたピクセルにラベルを割り当てます。

2.2 点群データのクラスタリング

• 地面点の除去：3次元空間で地面点を検出し、それらを削除します。
• クラスタリングアルゴリズム：DBSCAN（密度に基づくクラスタリング）を利用し、点群をインスタンスごとにクラスタリングします。
• RGB画像への投影：クラスタリング結果をRGB画像に投影し、2D投影マスクを生成します。

2.3 多次元特徴の融合

2D擬似ラベルと3D投影マスクを融合して最終的な擬似ラベルを生成します： - 融合規則：各マスク内のカテゴリ割合に基づいて最終ラベルを決定します。 - 地面ラベルの修正：地面点の投影結果を活用してラベルをさらに修正します。

3. セグメンテーションネットワークの訓練

生成した擬似ラベルを利用し、Deeplab-v2フレームワークを用いて完全教師ありセグメンテーションネットワークを訓練します。

実験結果

1. データセットと評価指標

KITTIデータセットを使用しました。トレーニングセットは200枚の画像で構成され、そのうち142枚には対応する点群データがあります。評価指標にはmIoU（Mean Intersection over Union）を使用しました。

2. 性能比較

代表的な結果

• トレーニングセット：提案手法のmIoUは、25.4%（クラス別）および46.7%（カテゴリ別）で、他の手法を上回りました。
• テストセット：mIoUは21.6%（クラス別）および48.0%（カテゴリ別）を記録しました。

アノテーション効率

完全教師ありセグメンテーションでは10000枚の画像をアノテートするのに約430.5時間を要するのに対し、本手法ではわずか0.9時間で済みます。

3. 消融実験

3D特徴を使用しない場合、セグメンテーション性能が著しく低下することが確認されました。これにより、点群データの空間情報が擬似ラベルの精度向上に重要であることが示されました。

研究の意義

1. 学術的貢献

• 2Dと3D特徴を統合したWSSSフレームワークを提案し、複雑な運転シーンにおけるセグメンテーション性能を向上させました。
• 無監督クラスタリングと2D投影を組み合わせた新しい手法を提案しました。

2. 実用的価値

• アノテーションコストを大幅に削減し、現実的な応用可能性を拡大しました。
• 自動運転など、複雑なシーンを扱う必要がある分野に適用可能です。

3. 革新点

• 点群データの空間情報を活用し、セグメンテーション結果を最適化しました。
• 点群データに追加のアノテーションを必要とせず、その潜在的情報を最大限に活用しました。

結論

本研究で提案したフレームワークは、複雑な運転シーンにおける従来のWSSS手法の課題を解決し、点群データが弱教師ありタスクで果たす潜在的な役割を示しました。今後の研究では、他のシーンデータセットへの拡張や、さらなる次元の特徴融合方法の探索が期待されます。