原型ネットワークを用いた一回の転移学習による脳卒中後の手のジェスチャー認識

2024-07-31 Wed
背景紹介脳卒中は世界的な死亡と障害の主要な原因の一つであり、人口の高齢化と都市化の進展に伴い、脳卒中患者の総数が世界中で増加しています。治療の進歩により死亡率は低下していますが、生存者のうちリハビリテーションを必要とする人数は大幅に増加しています。特に低所得国や中低所得国では、この状況が顕著です。これらの国々では医療資源が限られているため、適応性が高く費用対効果の高いリハビリテーション介入が緊急に必要とされています（Feigin et al. 2022）。
脳卒中のリハビリテーションは長期にわたり、身体的にも経済的にも大きな負担がかかるプロセスであるため、自動評価システムによりリハビリテーションの費用を軽減し、理学療法士の訪問需要を減らすことの重要性がますます高まっています。これらのシステムはセンサーデータを使用して脳卒中生存者の運動機能を評価し、インタラクティブなリハビリテーション運動を低コストで提供する方法を提供し、特に在宅リハビリテーションに適しています（Chen et al. 2017）。さらに、これらのシステムにゲームを取り入れることで、脳卒中生存者のモチベーションと参加度を高め、楽しく繰り返し可能な運動やタスクに従事させることでリハビリテーションを促進することができます（Proffitt et al. 2011）。
自動リハビリテーション評価システムの課題現在市場に出ている自動リハビリテーション評価システムは、通常、筋電図（EMG）、力筋電図（FMG）、慣性計測ユニット（IMU）などのセンサーを使用してデータを収集していますが、センサーの位置ずれや着用者の個人差が分類器の性能に大きな影響を与えます。さらに、脳卒中生存者の生理信号は健常者とは大きく異なるため、データの解釈がより複雑になります（Ao et al. 2013; Zhang et al. 2016; Raghavan 2015）。
従来の人間が操作する評価システムとは異なり、自動システムは参加者の活動能力を考慮し、脳卒中患者の特有のニーズと特徴に対応できるセンサー設計と分析技術を開発する必要があります。そのため、本研究では、ワンショット転移学習にプロトタイプネットワークを使用し、特徴選択の最適化とウィンドウサイズの拡大により、在宅リハビリテーションシステムにおけるモデルの分類精度と適用性を向上させることを提案しています。
論文出典本論文は、Hussein Sarwat、Amr AlKhashab、Xinyu Song、Shuo Jiang、Jie Jia、Peter B. Shullによって執筆され、上海交通大学機械工学部、復旦大学華山病院などの研究機関が含まれており、2024年の「Journal of NeuroEngineering and Rehabilitation」誌に掲載されました。論文番号は21:100 (2024)です。
研究設計と方法研究対象とセンサー構成本研究では、手のBrunnstromステージが2から6の間にある20名の脳卒中患者からデータを収集しました。試験は中国上海の華山病院リハビリテーション医学部門で行われました。実験前にすべての参加者から同意書を得て、華山病院倫理審査委員会の承認を受けました。
参加者のデータを収集するために2種類のウェアラブルセンサーが使用されました：1つのIMUと8つの気圧センサーを備えたリストバンドが手首に、6つのEMGセンサーを備えたリストバンドが前腕の肘から約10cm離れた位置に配置されました。これらのセンサーは、ジェスチャーデータ（例：大規模屈曲、大規模伸展、手首屈曲、手首背屈、前腕回内、前腕回外、および静止）を収集するために使用されました。
データ処理と特徴抽出データはMatlabとPythonを使用して収集・処理されました。データのフィルタリング後、各試行の平均と標準偏差を用いてデータの正規化が行われ、その後、重複セグメンテーション法を用いてデータをセグメント化しました。ウィンドウサイズは222ミリ秒、ステップサイズは55.6ミリ秒でした。特徴抽出に関しては、各センサーチャンネルから合計394の特徴が抽出されました。これには時間領域、周波数領域、時間周波数領域の特徴が含まれ、分類モデルに十分な情報を提供しています。
分類器とモデル評価本研究では2種類の主要なモデルが扱われています：被験者独立モデルと転移学習を通じて訓練されたモデルです。前者はリーブワンサブジェクトクロスバリデーション法を用いて訓練され、後者は少数サンプル学習方法を用いて、新しい参加者のデータをモデルの再訓練に使用しています。プロトタイプネットワークを採用し、他のいくつかの従来の機械学習方法（SVM、LDA、LGBMなど）とニューラルネットワーク方法と比較しています。
これらのモデルの中で、プロトタイプネットワークは少数サンプル学習に使用され、新しい参加者の1回のサンプルを通じてモデルの精度を向上させます。サンプルをクエリセットとサポートセットに分割し、そのプロトタイプを計算し、クエリセットの埋め込みとサポートセットを比較することで分類を行います。
実験結果分析研究結果は、大きなウィンドウを使用したワンショットサンプルプロトタイプネットワーク（PN）方法が分類精度を著しく向上させたことを示しています（p < 0.05）。82.20%±10.85%の精度に達し、他の被験者独立の分類器や従来の転移学習方法を明らかに上回りました。付属の図は、異なるジェスチャーの予測精度を示しています。
特徴選択と次元削減異なる分類器は、特徴選択と次元削減の方法に対して異なる反応を示しました。Kベスト特徴選択（K-Best）を使用することで、PN、TL、SVMの性能が著しく向上しました。一方、PCAはLDAでは良好な結果を示しましたが、他の分類器では効果が低くなりました。
ウィンドウサイズの影響ウィンドウサイズを増やすことで、サンプルサイズは減少しましたが、すべての分類器の精度が向上しました。最も顕著な改善はSVMとLGBMで見られ、精度がそれぞれ6.48%と6.34%向上しました。平均して、すべての分類器で約4.28%の精度向上が見られました。
サンプル数の影響5回サンプル学習方法と1回サンプル大ウィンドウ方法の比較では、後者がより少ないサンプルでより良い性能を示しました。
被験者依存モデルの比較他の被験者依存モデルと比較して、本論文で提案された方法は同様の性能を示し、これは大規模モデルを新しい参加者に統合する際の堅牢性を示しています。
研究の意義と結論本論文では、在宅リハビリテーションシステムにおけるジェスチャー認識を最適化するためのプロトタイプネットワークに基づくワンショット転移学習方法を提案しています。これらの改善により、頻繁な監督なしでデバイスの性能を向上させることができます。さらに、時間セグメンテーションと特徴選択の重要性も探究しています。結果は、時間セグメントを拡張することで性能は向上するものの、リアルタイム性が失われることを示しています。また、特徴選択の効果は分類器によって異なり、モデルの性能を著しく改善または低下させる可能性があります。したがって、モデルに入力する前にノイズを除去し、必要な情報を保持する次元削減技術を考慮することが非常に重要です。
本研究は、適応性が高く精度の高い在宅リハビリテーションシステムの今後の開発に堅固な基盤を提供し、脳卒中患者により良いリハビリテーションサポートを提供しています。