EHR-HGCN：電子健康記録テキスト分類の新しいハイブリッド異種グラフ畳み込みネットワーク方法

学術的背景紹介

自然言語処理（NLP）の急速な発展に伴い、テキスト分類はこの分野の重要な研究方向の一つとなりました。テキスト分類は、文献の背後にある知識を理解するのを助けるだけでなく、生物医学テキスト、特に電子健康記録（Electronic Health Records, EHR）などの分野でも広く応用されています。既存の研究は主に双方向トランスフォーマーに基づくエンコード表現方法（BERTなど）や畳み込みニューラルネットワーク（CNN）を利用した深層学習方法に集中しています。しかし、これらの方法は医学長文の処理時に入力長さの制限や高い計算資源の需要に直面することが多いです。また、テキスト分類の代表的なCNN方法は近傍の文脈特徴だけを抽出し、テキスト中のより広範囲の関係を無視してしまうことがあります。

これらの問題を解決するために、近年、異種グラフ畳み込みネットワーク（Heterogeneous Graph Convolutional Networks, HGCNs）が新しい方法として提案され、テキストの広範な関係を考慮するようになりました。しかし、GCNsを実際の問題、例えばテキスト分類に応用するのはまだ挑戦もあります。この背景の中で、本論文では混合作用を持つ新しい異種グラフ畳み込みネットワーク（EHR-HGCN）方法を提案し、単語と文の文脈埋め込みを構造化した文レベル及び単語レベルの関係情報と組み合わせて、より効率的なテキスト分類を実現します。

論文の出典紹介

本論文はGuishen Wang、Xiaoxue Lou、Fang Guo、Devin Kwok及びChen Caoにより共同執筆されました。著者たちはそれぞれ長春工業大学、南京医科大学及びカナダのマギル大学に所属しています。論文は2024年3月のIEEE Journal of Biomedical and Health Informatics第28巻第3号に発表されました。

研究の詳細紹介

研究作業の流れ

EHR-HGCN方法は単語埋め込み、異種グラフ構築及び異種グラフ分類の3つの主要部分で構成されています。

1. 単語埋め込み

まず、本論文はGloVeを用いて初期の単語埋め込みを生成します。GloVeモデルはグローバル行列分解とローカル文脈ウィンドウフレームを組み合わせ、初期の単語埋め込みを生成します。その後、これらの単語埋め込みに基づいて、双方向リカレントニューラルネットワーク（BiRNN）を利用して文脈情報を取得し、文埋め込みを計算します。

L = ∑ f(xij)(viᵀ vj - log(xij))^2
f(x) = {(x/xmax)^0.75, if x < xmax
        {1, if x ≥ xmax

式（1）と式（2）により、GloVeモデルはテキスト中の各キーワードの文脈埋め込みを生成できます。

2. 異種グラフ構築

文脈単語埋め込みベクトルを取得した後、コサイン類似度を利用して単語間の遠距離関係を計算します。コサイン類似度があらかじめ設定された閾値を超える場合、2つの単語ノード間にエッジを作成します。さらに、ある単語が特定の文に存在する場合、その単語と文の間にもエッジを作成します。各異種グラフは文と単語をノードとして、文-単語および単語-単語をエッジとして構成されます。このようにして各文書を異質なグラフ構造に変換し、テキスト分類問題をグラフ分類問題に転換します。

図3に示すように、各文書はノードとエッジを持つグラフに変換され、前述の単語と文に基づいて構築された異種グラフを介し、文書からのテキスト分類問題を異種グラフ分類問題に変換します。

3. 異種グラフ分類

第三歩として異種グラフ畳み込みネットワーク（HGCN）を用いて異種グラフレベルの分類を行います。HGCNは主に集約操作と異種グラフ畳み込み操作で構成されます。これらの操作を通じて文書をグラフとして表現し、全結合層を介して予測結果を出力します。

ĥ lk_i = f(∑ aij ĥ lk-1_j ⊗ θijk)

式（5）及び式（6）のように、HGCNはグラフ中の異なる種類のエッジに対して畳み込み操作を適用し、その結果をグラフ埋め込み層に入力してグラフ表現を取得し、最終的に全結合層を通じて分類結果を得ます。

主な結果の展示

提案された方法の有効性を検証するために、本論文では複数の標準ベンチマークデータセット及び1つのEHR応用ベンチマークで実験を行いました。標準ベンチマークには20 Newsgroups、R8、R52データセット、Ohsumed及びMovie Reviewデータセットが含まれます。実験結果は、EHR-HGCN方法が精度及びF1スコアにおいて他の比較された伝統的な深層学習及びGCN方法よりも優れていることを示しました。

結果の例

例えば20 Newsgroupsデータセットでは、EHR-HGCN方法が第2位の方法であるTextGCNに比べて、精度とF1スコアがそれぞれ1.65%と4.28%高かったです。Ohsumedデータセットにおいては、EHR-HGCN方法のみが精度50%を超え、52.3%に達しました。

結論と価値

本論文で提案されたEHR-HGCN方法はテキスト分類、特にEHR分野において優れた性能を示しました。文脈情報とテキストの構造関係を総合的に考慮し、異種グラフ畳み込みネットワークを導入することで、分類効果の向上を達成しました。この方法は科学研究で重要な価値を持つだけでなく、実際の電子健康記録の処理に新しい方向性と技術手段を提供します。

研究のハイライト

1. 革新性：GloVe、BiRNN及び異種グラフモデルを結びつけ、新しい方法を提案しました。
2. 性能向上：複数のベンチマークデータセットで優れたパフォーマンスを示し、特にEHRデータセットで顕著。
3. 構造全体：単語と文の複雑な関係を考慮し、より効率的なテキスト分類効果をもたらしました。

このように、EHR-HGCN方法はテキスト分類、特に電子健康記録の処理に強力なツールを提供し、ビッグデータと人工知能の結合が医療分野における潜在的な応用と展望を示します。今後の研究では、より大規模なデータセットでこの方法をさらにテストし最適化し、実際の応用シナリオでのパフォーマンスを向上させる可能性があります。