知識強化型グラフトピック変圧器の説明可能な生物医学テキスト要約への応用 研究背景 生物医学の文献発表量が増加し続けているため、自動生物医学テキスト要約タスクの重要性が高まっています。2021年にはPubMedデータベースだけで1,767,637本の論文が発表されました。既存の事前学習言語モデル（Pre-trained Language Models、PLMs）を用いた要約方法は性能を向上させていますが、特定の分野の知識の捕捉や結果の説明可能性において顕著な制限があります。これにより、生成された要約が一貫性に欠け、冗長な文章や重要な分野知識の欠落を含む可能性があります。さらに、変圧器モデルのブラックボックス特性はユーザーが要約生成の理由や方法を理解するのを困難にするため、生物医学テキスト要約に...

医学多組学データ分析における多重先験知識グラフニューラルネットワーク 背景紹介 精密医療は将来の医療保健において重要な分野であり、患者に個別化された治療計画を提供することにより、治療効果を改善しコストを削減します。例えば、乳がん患者の複雑な臨床、病理、および分子特性を考えると、同じ治療が異なる効果を示すことがあります。バイオ医学技術の急速な発展に伴い、多組学データを通じて疾病の特性化が可能になっています。多組学アプローチは単一組学アプローチに比べて、複数のデータ間で一貫性と補完的な情報を捉えることができ、より正確かつ深くモデルを構築することができます。例えば、がんゲノム図譜（The Cancer Genome Atlas, TCGA）は、mRNA 発現、DNA メチル化、およびコピー数変異（...

診断予測における階層的注意関係ネットワークの応用 近年、電子健康記録（Electronic Health Records、略してEHR）は医療意思決定の向上やオンラインでの病気の検出と監視において極めて価値があります。同時に、深層学習に基づく方法はEHRを利用した健康リスク予測や診断予測で大きな成功を収めました。しかし、深層学習モデルには通常、大量のデータが必要であり、その理由はパラメータの膨大な数にあります。さらに、EHRデータには多くの希少な医療コードが存在し、これが臨床応用に大きな課題をもたらします。このため、一部の研究では医療オントロジーを用いて予測性能を強化し、解釈可能な予測結果を提供することが提案されています。しかし、これらの医療オントロジーは通常、規模が小さく、粒度が粗いため、...

動的グラフ表現の時間集約と伝搬グラフニューラルネットワーク 背景紹介 動的グラフ（temporal graph）は、連続した時間の中でノード間に動的なインタラクションが存在するグラフ構造であり、グラフのトポロジー構造は時間の経過とともに変化し続けます。このような動的な変化はノードが異なる時間点で異なる嗜好を示すことを可能にし、ユーザーの嗜好を捉えて異常行動を検出する上で非常に重要です。しかし、既存の研究は通常、限られた近隣ノード生成による動的表現を採用しており、これが性能の低下と高いレイテンシーオンライン推論の問題を引き起こしています。これらの課題に対処するために、本論文は新しい時間グラフ畳み込み法である時間集約と伝搬グラフニューラルネットワーク（Temporal Aggregation a...

AutoAlign：大規模言語モデルによる全自動・効率的な知識グラフのアライメント方法 知識グラフ（Knowledge Graph、KG）は、質問応答システム、対話システム、推薦システムなど多くの分野で広く利用されています。しかし、異なる知識グラフには、同一の現実のエンティティが異なる形で保存される問題があるため、知識の共有と情報の補完が非常に困難です。特に実際のアプリケーションでは、これらの知識グラフの統合が中心的な課題となります。これにはエンティティアライメント（Entity Alignment）が関与しており、異なる知識グラフで同じエンティティを表すエンティティを識別することになります。しかし、既存の方法は通常手作業の種子アライメント（Seed Alignments）が必要で、その取得...

知識グラフを基盤としたソーシャル強化型説明可能な推薦システム はじめに インターネット情報量の増加に伴い、ユーザーと商品の関連情報も急速に拡大し、情報過多問題が日々深刻化しています。推薦システムはユーザーに対して少量の好みに合った商品を推薦することでこの問題を効果的に緩和できます。それは、ユーザーが迅速に関心のあるコンテンツを見つける手助けとなるだけでなく、企業には精度の高いマーケティングを可能にし、顧客ロイヤルティを向上させます。電子商取引、ソーシャルメディア、検索エンジンなど様々なプラットフォームで、推薦システムの役割はますます重要になっています。 推薦システムの性能は、推薦技術に大いに依存しています。初期の協調フィルタリング（Collaborative Filtering, CF）法は...

ナレッジエンハンスドグラフニューラルネットワークを用いた説明可能な推薦 導入 オンライン情報の爆発的な増加に伴い、推薦システムは情報過多問題を解決するうえで重要な役割を果たしています。従来の推薦システムは通常、ユーザの履歴に基づいて推薦を生成する協調フィルタリング（Collaborative Filtering、以下CF）方法に依存しています。CF方法は主にメモリベースとモデルベースの技術に分かれます。メモリベースの方法にはユーザベースやアイテムベースのCFがあり、モデルベースの方法は行列分解などのモデルを学習して推薦を行います。近年、ディープラーニング技術は情報検索や推薦システムの研究において非常に高い有効性を示しています。多くのディープラーニングに基づく推薦方法が高い推薦性能を達成してい...

忘却に対するロバストな知識追跡のための深層グラフメモリネットワーク 近年、個別学習の重要な方法として知識追跡（KT）が広く注目を集めている。知識追跡は、学生が新しい問題に回答する際の正答率を予測することを目的とし、彼らの過去の問題の回答履歴を利用して知識状態を推定するものである。しかし、現在の知識追跡方法は、忘却行動のモデリングや潜在概念間の関係の識別といった課題に直面している。これらの課題を解決するために、本論文では、新しい知識追跡モデルである深層グラフメモリネットワーク（Deep Graph Memory Network, DGMN）を提案する。本論文では、DGMNモデルの設計、実験過程、および各種データセットにおける性能を具体的に概要する。 研究の背景 知識追跡問題は提案されて以来、教...

多重関係グラフ注意ネットワークに基づく接続埋め込みを用いた知識グラフエンティティタイプ認識 研究背景 今日、知識グラフ（Knowledge Graphs, KGs）は、さまざまなKG駆動型AI関連分野においてますます多くの研究関心を集めています。大規模な知識グラフは豊富で有効な構造化情報を提供し、質問応答システムやウェブ検索のような多数のインテリジェントアプリケーションの核心データリソースとなっています。通常、知識グラフには大量のエンティティタイプ（Entity Typing）インスタンスが含まれており、それはタプル ((e, t)) の形式で存在します。ここで (e) はエンティティ、(t) はその階層的なタイプです。現代の知識グラフ（Freebase、YAGOおよびGoogle Know...

統一大言語モデルと知識グラフ 背景 近年、自然言語処理と人工知能の分野には多くの研究成果が現れており、その中でも大言語モデル（Large Language Models, LLMs）として知られるChatGPTやGPT-4が優れた成果を示しています。しかし、これらのモデルは優れた一般化能力を持ちながらも、そのブラックボックス性から事実知識を効果的に捕捉しアクセスすることが困難とされ批判を受けることも多いです。一方、知識グラフ（Knowledge Graphs, KGs）として知られるWikipediaやHuapuは、構造化形式で大量の事実知識を保存していますが、知識グラフの構築と進化のプロセスは非常に複雑です。そこで、研究者たちは大言語モデルと知識グラフを組み合わせ、それぞれの長所を生かして...