PET画像レポートにおける大型言語モデルの応用：検索強化生成モデルを組み合わせた単一施設試験研究

人工知能技術の急速な発展に伴い、大型言語モデル（Large Language Models、以下LLM）のゼロショット学習能力と自然言語処理能力が医学分野で広く注目されています。LLMは一部の医療分野で効率と成果の向上を示しているものの、核医学、特にPET（陽電子放射断層撮影）画像レポートへの応用はまだ初期段階です。本研究は、韓国ソウル大学病院およびソウル大学医科大学のHongyoon Choi博士とそのチームによって実施され、その研究成果は《European Journal of Nuclear Medicine and Molecular Imaging》に掲載されました。

研究背景と問題提起

PET画像は多くの医療分野で広く利用されており、その臨床的価値は疾患診断、病期分類、および治療効果の評価などにあります。しかしながら、PET画像が生成するデータは複雑かつ多様であり、人力解読に依存することは時間がかかるだけでなく、観察者の主観的判断に影響されやすいという課題があります。核医学の画像レポートにおいて、過去の類似ケースの迅速な参照、鑑別診断のサポート、および教育目的での優れた事例提供などのニーズは、現行のツールでは十分に満たされていません。また、ChatGPTなどのLLMは医療レポートの生成において一定の可能性を示していますが、具体的な医療データセットにアクセスして特定の病院やケースに関連する精確な理解を提供する能力には限界があります。

研究者たちは、検索強化生成（Retrieval-Augmented Generation、以下RAG）モデルと長期間にわたるPET画像レポートデータベースを組み合わせることで、LLMを活用してPET画像レポート生成を改善し、臨床的ニーズを満たす方法を模索しました。

研究目的

本研究の目的は、RAGアーキテクチャに基づいたカスタムLLMフレームワークを開発および評価することであり、その目標は以下の通りです： 1. 画像診断専門家に過去の画像レポートを基にしたリファレンスを提供し、特に類似ケースの検索および要約を支援すること。 2. 医学教育をサポートし、優れた事例を引用して教育および臨床学習を補助すること。 3. 既存の画像レポートデータを利用して専門家による鑑別診断のプロセスを補助すること。

方法とアーキテクチャ設計

データセット

研究チームは、2010年から2023年にわたる診療データウェアハウス（CDW）から118,107名の患者のPET画像診断レポート、合計211,813例を抽出しました。データの内容には、レポート本文、検査日、検査名、患者の性別、および年月形式で表現される誕生日時が含まれます。すべてのデータは匿名化され、患者のプライバシーを保護しています。本研究は、倫理審査委員会（Institutional Review Board、IRB）の承認を取得しており、患者の同意は免除されています。

システムアーキテクチャ

研究チームは、RAGモデルと多モジュールコンポーネントを組み合わせたプロトタイプチャットボットを設計しました。具体的なコア要素は以下の通りです：

1. 文エンベディングとベクトル化： Sentence Transformersモデルの「paraphrase-multilingual-MiniLM-L12-v2」を使用して、レポートテキストとユーザークエリをベクトル表現に変換します。このモデルは多言語のテキスト理解と再述に優れ、英語と韓国語のバイリンガルデータセットに対応しています。

2. ベクトルストレージメカニズム： Chromaデータベースを用いて、文エンベディングを検索可能なベクトル空間として格納します。検索は、クエリベクトルと保存されたベクトル間のコサイン類似度を計算することで行い、各検索で最も関連性の高い5つのテキストを生成する文脈情報として使用します。

3. 検索強化された質問応答生成： データベースから検索されたレポートテキストを文脈として、ユーザーの質問と組み合わせ、LLMに入力する完全なプロンプトを作成します。テスト目的で、Llama-3言語モデル（パラメータ70億）が使用され、その実装はLangChainアーキテクチャに基づいています。

4. データの可視化： t-SNE（t分布近傍埋め込みアルゴリズム）を使用して、生成されたベクトルデータを次元削減および可視化します。診断用語または検査タイプのキーワードを通じて、画像レポートがベクトル空間内で形成するクラスタリング効果を示し、レポート間の意味的類似性を可視化します。

実験プロセスと発見

データエンベディングとクラスタリング分析

211,813例の画像レポートを文エンベディングを介してベクトル空間データに変換しました。t-SNE分析では、「肺癌」「乳癌」「リンパ腫」などのキーワードに基づいて報告書が明確な意味的クラスタを示しました。例えば、「肺癌」を含むレポートは密集したクラスタを形成し、これはデータベース内で肺癌の事例が多いことを反映しています。他のカテゴリー、例えば「C-11メチオニンPET」と「Ga-68 PSMA-11 PET」も独立したクラスタを形成しました。この結果は、文エンベディングモデルがレポート内容の意味的類似性を捉える能力を持ち、ケース類似性に基づく検索のための基盤が確立されていることを示しています。

クエリと診断提案

多様な臨床シナリオを模擬したところ、開発されたチャットボットは複雑な医療質問に回答できる能力を示しました。例えば、「乳癌が内胸リンパ節に転移している症例を特定する」という質問に対し、システムは関連症例を正確に特定し、関連する患者病歴の重要な詳細を提示しました。また、「複数の縦隔リンパ節でFDG（フルオロデオキシグルコース）取り込みが認められるが、原発巣が特定されていない」というような複雑な画像記載に対して、システムは可能性のある疾患の詳細なリストを生成し、それに関連付けられるデータベース内の参照識別子を提示しました。

医学専門家の評価からは、84.2%の症例検索結果が3人の医師により「中等（fair）以上」と一致して評価され、そのうち78.9%の鑑別診断提案が「中等以上」と採点されました。RAGを使用しないLLMモデルと比較すると、RAGフレームワークを組み込んだモデルは、診断提案の精度の面で有意に向上しました（Wilcoxon順位和検定、p < 0.05）。

定量的評価

生成された結論の質をROUGE-L（最長共通部分系列に基づくテキスト類似度評価指標）を用いて測定しました。RAGフレームワークを組み合わせた後のモデルは、医学レポートの結論生成の効果でRAGを使用しないモデルを大きく上回りました（ROUGE-L fスコア：0.16 ± 0.08 vs 0.07 ± 0.03、p < 0.001）。

研究の意義と今後の展望

科学的意義と臨床的意義

1. 実践価値：本研究は、RAGフレームワークと画像データセットを組み合わせることで、核医学PET画像レポート生成を支援する具体的な技術的サポートを示しました。これにより、画像診断プロセスの効率が向上するだけでなく、複雑な症例に対する実際に信頼できる参照が提供されます。
2. 教育的洞察：類似症例や病程追跡結果を迅速に引用することで、本システムは医学教育における効率的な学習ケース提供の可能性をもたらします。
3. 個別化意思決定支援：膨大なデータベースを背景にした文脈引用メカニズムは、AIを活用した医学画像のカスタマイズ診断と患者管理の推進に新しい道を開きます。

研究の特徴と課題

本研究は、大規模PETデータベースとRAGモデルを組み合わせた初の試みとして、モデルが画像の意味的理解と問題解決の初期能力を明らかにしました。また、現時点のモデルの課題として、稀な症例に対する検索性能が弱い点が挙げられます。将来的に、稀少疾患に特化したデータラベルや、多モーダル分析（画像とテキスト情報の統合）を組み入れることで、性能がさらに向上する可能性があります。

結論

総合的に見て、本研究は、特定分野の核医学応用における人工知能技術の広大な展望を強く支持するものです。研究者たちは、RAGフ레ームワークとPET画像レポートデータベースを融合することで、LLMが核医学診断において持つ可能性を示しました。このフレームワークは画像レポート生成の改善にとどまらず、差別診断および関連ケース検索の利便性を著しく向上させ、実務での意思決定支援をサポートします。より強力なモデルや学際的な多モーダル解析能力の発展に伴い、類似システムは将来的に個別化医療サービスや精密医療の発展にさらに貢献する可能性があります。