物理的知識を取り入れた深層学習による筋骨格モデル化：表面EMGから筋力と関節運動学の予測

コンピューターサイエンス 工学 医学検査 電気工学 情報科学 人工知能 自動化 医学 整形外科 バイオエンジニアリング 医用画像学 生命科学
物理的知識を取り入れた 深層学習 筋骨格モデル化 表面EMG 筋力 関節運動学

肌骨モデルは、生体力学解析に広く利用されており、直接計測が困難な運動変数（例：筋力や関節モーメント）を推定することができます。従来の物理駆動の計算肌骨モデルは、神経駆動から筋肉、筋肉の動力学、および身体と関節の運動学と動力学の間の動的相互作用を説明することができます。しかし、これらのモデルはその複雑さのため、動作速度が遅く、リアルタイムアプリケーションの実現が難しいです。近年、データ駆動方式はその実現速度の速さと操作の簡単さから有望な代替手段となっていますが、基礎的な神経機械プロセスを反映することができません。

本研究では、物理学の知識を融合した深層学習フレームワークを提案し、筋骨モデリングを実現します。このフレームワークでは、物理分野の知識をデータ駆動モデルに導入し、ソフト制約として罰則/正則化処理を行います。本論文では、表面筋電図（SEMG）を用いて筋力と関節運動学を同時に予測する例を示し、畳み込みニューラルネットワーク（CNN）を用いてこのフレームワークを実現し、2つのデータセットで実験を行い、その有効性と頑強性を示しました。

論文の出典

この論文はJie Zhang, Yihui Zhao, Fergus Shone, Zhenhong Li, Alejandro F. Frangi, Sheng Quan Xie、およびZhi-Qiang Zhangの7人の研究者によって共同で執筆されました。彼らはそれぞれ、リーズ大学の電子電気工学部とコンピュータ学部、およびKU Leuven大学の電気工学部に所属しています。この研究は2023年IEEE Transactions on Neural Systems and Rehabilitation Engineering誌第31巻に掲載されました。

研究の流れ

研究方法の概要

本研究では、物理学の知識を融合した深層学習フレームワークを開発し、筋力と関節運動学の同時予測を実現します。畳み込みニューラルネットワーク（CNN）が深層神経ネットワークの実装媒体として使用され、物理法則がソフト制約としてCNNに正則化処理を行います。

データ処理

  1. データ前処理：実験記録の筋電図（EMG）信号に対して、帯域フィルタリング（20Hz～450Hz）、全波整流、低域フィルタリング（6Hz）処理を行いました。

  2. データセット：本論文では2つのデータセットを使用しました。1つは基準の歩行データセットで、もう1つは自収集の手関節運動データセットです。前者には6人の健康なボランティアの異なる歩行速度のデータが、後者には6人の健康なボランティアの手関節屈伸運動のデータが含まれています。

  3. 実験記録：標準化手順には、OpenSimソフトウェアを使用して各被験者の筋骨モデルのスケール調整を行い、逆運動学ツールを使用して関節運動軸を計算し、EMG信号の測定と一致する筋肉の励起を計算します。各歩行周期は100フレームに標準化されました。

実験検証

実験に使用するデータには歩行試験データと手首運動データが含まれます。各試験は歩行サイクル内の時間ステップ、トラバース信号、BFSおよびRF筋力で構成されます。

実験データ処理手順

  1. マーカーと筋力データ：逆運動学および逆動力学ツールを使用して関節運動軸および関節モーメントを計算し、計算された筋肉制御ツールを使用して筋肉の励起が測定されたEMG信号と一致するようにします。

  2. アルゴリズム設計：畳み込みブロック、全結合ブロック、回帰ブロックで構成されたシンプルなCNNアーキテクチャを使用してデータ駆動モデルを構築し、EMG信号および時間ステップから自動的に特徴を抽出します。

損失関数設計

  1. 平均二乗誤差損失（MSE）：実際の値と予測された値の間の平均二乗誤差を最小化します。

  2. 物理損失：運動方程式を正則化項として使用し、損失関数を通じて予測値と物理方程式の制約を一致させます。

  3. 総損失関数：従来の平均二乗誤差損失と物理損失を組み合わせて、モデル訓練に使用する総損失関数を定義します。

結果

実験結果は、提案された物理融合深層学習フレームワークが異なるデータセットで優れた予測性能と頑強性を示すことを示しました。CNN、ML-ELM、SVR、ELMなどのベースライン方式と比較して、このフレームワークはより低い予測誤差とより高い相関係数を提供できます。

主要な結果

  1. 膝関節と手関節データセット：このフレームワークは、膝関節と手関節のシナリオにおいて優れた動的追跡能力を示し、少量の訓練データで強固かつ効率的な予測結果を得ることができます。

  2. 統計分析：単一要因分散分析を使用して、このフレームワークの頑強性を検証し、ほとんどの場合に最適な性能を実現できることを確認しました。

  3. セッション間のシナリオ：未知のデータに対しても、提案されたフレームワークは優れた一般化性能を示しました。

訓練過程

  1. 反復過程：訓練の過程で、反復回数が増えるにつれて総損失は減少し、モデルの収束を示します。

  2. データセットのサイズとアーキテクチャの影響：より大きなデータセットと適度に複雑なネットワークアーキテクチャがモデルの性能をさらに向上させることができます。

討論と今後の方向性

この研究で提案された物理駆動の深層学習フレームワークは、筋骨モデル予測における物理法則の統合の有効性を示しました。このフレームワークは既存の筋力および関節運動学の予測だけでなく、ロボット支援リハビリテーションや運動病理学の診断など、他の筋骨モデリングの応用シナリオにも拡張可能です。さらに、異なる損失の重み、異なる入力および出力の設定、さらに多くの物理的制約がモデルの性能に与える影響も探ることができます。

結論

この論文は、物理学的知識を融合したデータ駆動フレームワークを紹介し、提案した方法がモデル構築時の計算リソースの要件を大幅に削減できることを示しました。また、実験結果は、この方法が筋力と関節角度の予測において有効性とロバスト性を示すことを明示しました。将来は、このフレームワークがその他の筋骨モデリングの応用分野において重要な役割を果たすことが期待されており、実験室のプロトタイプと臨床応用とのギャップを縮めることができます。