EHR-HGCN：電子健康記録テキスト分類の新しいハイブリッド異種グラフ畳み込みネットワーク方法 学術的背景紹介 自然言語処理（NLP）の急速な発展に伴い、テキスト分類はこの分野の重要な研究方向の一つとなりました。テキスト分類は、文献の背後にある知識を理解するのを助けるだけでなく、生物医学テキスト、特に電子健康記録（Electronic Health Records, EHR）などの分野でも広く応用されています。既存の研究は主に双方向トランスフォーマーに基づくエンコード表現方法（BERTなど）や畳み込みニューラルネットワーク（CNN）を利用した深層学習方法に集中しています。しかし、これらの方法は医学長文の処理時に入力長さの制限や高い計算資源の需要に直面することが多いです。また、テキスト分類の...

InA: 事前学習言語モデルにおける抑制適応方法 事前学習言語モデル（Language Models, LMs）は自然言語処理（Natural Language Processing, NLP）タスクにおいて顕著な効果をあげている。しかし、従来のファインチューニング方法には冗長なパラメータの問題があり、効率と効果に影響を与えている。この挑戦に対応するために、本論文では抑制適応（Inhibition Adaptation, INA）と呼ばれるファインチューニング方法を提案し、追加される調整可能な重みを減らし、事前学習言語モデルからの知識を適切に再重み付けする。 研究の背景と問題 現在、事前学習言語モデルのファインチューニングはNLPの下流タスクを解決する一般的な方法である。しかし、古典的なファ...