知識蒸留に基づく軽量化畳み込みニューラルネットワークによる非侵襲的な膠芽腫の分類

情報科学 人工知能 医学 腫瘍学 脳神経外科学
知識蒸留 膠芽腫の分類 畳み込みニューラルネットワーク 軽量モデル 画像分類

非侵入性胶質腫瘤の等級分類に関する研究概要：知識蒸留に基づく軽量な畳み込みニューラルネットワーク

背景紹介

膠質腫瘍は中枢神経系の主要な腫瘍であり、早期検出が非常に重要です。世界保健機関（WHO）は膠質腫瘍をⅠ級からⅣ級に分類しており、Ⅰ級とⅡ級は低級膠質腫瘍（LGG）、Ⅲ級とⅣ級は高級膠質腫瘍（HGG）です。膠質腫瘍を正確に分類することは生存率の評価にとって非常に重要です。

磁気共鳴画像法（MRI）は医学の分野で膠質腫瘍の診断と治療によく使用される方法です。現在、多くの研究者が機械学習や深層学習の方法で膠質腫瘍を分類しています。例えば、Zacharakiらはサポートベクターマシン（SVM）アルゴリズムをMRI画像に適用して膠質腫瘍を分類することに成功しました。一方、Fatemehらは畳み込みニューラルネットワーク（CNN）を使用してMRI画像中の膠質腫瘍を分類しました。残念ながら、これらの研究は主に分類精度の向上に焦点を当てており、高パラメータのCNNアーキテクチャは実際の医療環境での応用が難しいです。さらに、膠質腫瘍のデータセットが小さいため、少ないパラメータを持つCNNしか使用できず、その結果、分類精度の向上が難しくなっています。

高集成度フィールドプログラマブルゲートアレイ（FPGA）に基づくスマート医療診断のトレンドにおいて、圧縮技術でCNNの性能を向上させ、パラメータと計算量を減らすことが非常に重要です。上記の問題を解決するため、本論文では知識蒸留（Knowledge Distillation, KD）に基づく膠質腫瘍の分類方法を提案し、高い精度を保ちながらモデルのパラメータと計算量を大幅に削減します。研究ではInception-ResNet-V2を教師モデルに選び、SqueezeNetを生徒モデルに採用し、SEモジュールを導入してモデルの効率をさらに向上させます。

出典紹介

本論文の著者はAi LingmeiとBai Wenhaoであり、彼らはいずれも陝西師範大学のコンピュータサイエンス学院に所属しています。本論文は2021年第4回国際先進電子材料、コンピュータとソフトウェア工学会議（AEMCSE）において発表され、IEEEにより出版されました。

研究詳細

作業フロー

研究フローは以下のステップで構成されています: 1. 教師モデルと生徒モデルの選択： - ResNet18、ResNet34、ResNet50、およびInception-ResNet-V2の性能を比較し、Inception-ResNet-V2を教師モデルに選択。 - ResNet18、AlexNet-v2、SqueezeNetを比較し、SqueezeNetを生徒モデルに選択。

  1. データの準備：

    • Cancer Imaging Archive（TCIA）から130名の患者のMRIデータを取得し、データ拡張技術を用いてデータセットを59878サンプルまで増加。
    • データセットには星状細胞腫II、乏突起膠腫II、星状細胞腫IIIなどの膠質腫瘍が含まれ、最終的にはデータを3つのカテゴリ：健康、低級膠質腫瘍、高級膠質腫瘍に分類。

  2. ネットワークアーキテクチャの設計：

    • 各教師モデルのGPU使用率、パラメータ数、浮動小数点演算数（FLOPs）、およびモデルサイズを比較し、分類精度が最も高いInception-ResNet-V2を選択。
    • SqueezeNetはGPU負荷、パラメータ数、FLOPs、モデルサイズの観点で明確な利点を持つため、生徒モデルに選ばれました。

  3. SEモジュールを導入して改良：

    • SqueezeNetは計算コストを効果的に減らすことができるが、分類精度が低い。そこで、SEモジュール（Squeeze-and-Excitation block）を導入してモデル性能、特に分類精度を向上させました。

実験過程と結果

トレーニングの過程は以下の通りです: 1. データセットを8:1:1の割合でトレーニングセット、検証セット、テストセットに分け、画像を正規化して前処理を行う。 2. 教師モデル上でSqueezeNetをトレーニングし、温度を5に設定、Adamオプティマイザを使用し、初期学習率を0.001、ドロップアウト率を0.2、総トレーニングエポック数を50、バッチサイズを64にする。 3. 知識蒸留後のSqueezeNetと元のモデルを比較し、指標には精度、正確度、再現率、およびF1スコアが含まれます。

実験結果は、知識蒸留後、生徒モデル（SqueezeNet）の各指標が大幅に向上することを示しています。教師モデルInception-ResNet-V2と比較して、精度、正確度、再現率、F1スコアはそれぞれ3.53%、5.68%、3.73%、4.69%向上し、同時にGPU使用量、パラメータ数、FLOPs、およびモデルサイズがそれぞれ35%、98.72%、98.7%、98.62%削減されました。

結論と意義

本論文で提案された知識蒸留に基づく膠質腫瘍分類方法は、軽量なCNNの精度を大幅に向上させるだけでなく、モデルの計算量とパラメータを削減し、組み込みデバイスや医療電子機器での実際の応用にさらに適しています。今後、著者たちは生徒モデルの効率と精度をさらに最適化し、スマート医療診断の実際の応用をさらに促進する予定です。