統一レイアウト生成研究の新突破：より小さくても強力な大規模言語モデル 研究背景と問題提起 レイアウト生成（Layout Generation）は、コンピュータビジョンおよびヒューマンコンピュータインタラクション分野において重要な研究テーマであり、特定のニーズに適合するグラフィカルインターフェースやページレイアウトをアルゴリズムによって自動生成することを目指しています。例えば、科学論文、アプリケーションインターフェース（App UI）、雑誌ページ、スライドのデザインには、効率的かつ柔軟なレイアウト生成手法が必要です。しかし、従来の手法は通常、単一タスクまたは単一領域に最適化されており、タスク間や領域間での汎用性に欠けています。深層学習技術の発展に伴い、Transformerアーキテクチャに基づ...

大言語モデルにおける分布外汎化と組み合わせメカニズムの研究 論文の背景 近年、大言語モデル（Large Language Models, LLMs）は、GPT-4 などのように新規タスクを処理する際、驚くべき創造性を示しています。通常、少数の例で問題を解決できます。これらのタスクは、モデルが訓練データとは異なる分布上で汎化することを要求します。これは「分布外汎化」（Out-of-Distribution Generalization, OOD Generalization）と呼ばれます。LLMs は大きな成功を収めていますが、どのように分布外汎化を達成するかは未解明のままでした。本論文では、LLMs が隠れたルールに基づいて生成されるタスクでのパフォーマンスに焦点を当て、特に「帰納ヘッド」（...

混合専門家と3Dアナログインメモリコンピューティングを用いた大規模言語モデルの効率的なスケーリング 学術的背景 近年、大規模言語モデル（Large Language Models, LLMs）は自然言語処理やテキスト生成などの分野で強力な能力を発揮しています。しかし、モデルの規模が拡大するにつれ、訓練や推論のコストも急激に上昇し、特にメモリ使用量、計算遅延、エネルギー消費の面で大きな課題となっています。これがLLMsの広範な応用を妨げる主要なボトルネックの一つとなっています。従来のノイマンアーキテクチャでは、大規模なパラメータを処理する際にデータがメモリと計算ユニットの間で頻繁に移動するため、「ノイマンボトルネック」が生じ、これらの課題がさらに深刻化しています。 この問題を解決するために、研...

PET画像レポートにおける大型言語モデルの応用：検索強化生成モデルを組み合わせた単一施設試験研究 人工知能技術の急速な発展に伴い、大型言語モデル（Large Language Models、以下LLM）のゼロショット学習能力と自然言語処理能力が医学分野で広く注目されています。LLMは一部の医療分野で効率と成果の向上を示しているものの、核医学、特にPET（陽電子放射断層撮影）画像レポートへの応用はまだ初期段階です。本研究は、韓国ソウル大学病院およびソウル大学医科大学のHongyoon Choi博士とそのチームによって実施され、その研究成果は《European Journal of Nuclear Medicine and Molecular Imaging》に掲載されました。 研究背景と問題提...

大規模言語モデルを用いた遺伝子集合機能発見の探求：GPT-4の優れた性能 学術的背景 機能ゲノミクス（functional genomics）の分野では、遺伝子集合の富化解析（gene set enrichment analysis）が遺伝子の機能と関連する生物学的プロセスを理解するための重要な方法となっています。しかし、現在の富化解析はGene Ontology (GO) などといった文献に基づいて整理された遺伝子機能データベースに依存しており、これらのデータベースには不完全性や更新の遅れといった課題があります。このため、多くの遺伝子集合が従来のツールでは効果的に解析できず、これらの未定義の遺伝子集合が新たな生物学的知識の源泉となる可能性があります。 こうした背景のもと、近年、生成型人工知...

AutoAlign：大規模言語モデルによる全自動・効率的な知識グラフのアライメント方法 知識グラフ（Knowledge Graph、KG）は、質問応答システム、対話システム、推薦システムなど多くの分野で広く利用されています。しかし、異なる知識グラフには、同一の現実のエンティティが異なる形で保存される問題があるため、知識の共有と情報の補完が非常に困難です。特に実際のアプリケーションでは、これらの知識グラフの統合が中心的な課題となります。これにはエンティティアライメント（Entity Alignment）が関与しており、異なる知識グラフで同じエンティティを表すエンティティを識別することになります。しかし、既存の方法は通常手作業の種子アライメント（Seed Alignments）が必要で、その取得...

大規模言語モデルによる電子健康記録中の健康の社会的決定要因の識別 背景と研究の動機 健康の社会的決定要因（Social Determinants of Health, SDOH）は患者の健康結果に重要な影響を与えます。しかし、電子健康記録（EHR）の構造化データにおいて、これらの要因の記録はしばしば不完全または欠落しています。大規模言語モデル（Large Language Models, LLMs）はEHRの叙述的なテキストからSDOHを高通量で抽出し、研究や臨床ケアを支援することが期待されています。しかし、カテゴリの不均衡やデータの制約が、このまばらな記録の重要な情報に挑戦をもたらします。本稿では、LLMsを用いてEHRの叙述的テキストから6種類のSDOHカテゴリ（雇用、住居、交通、親の身...

現在、大規模言語モデル(LLM)は、さまざまな分野で専門家レベルのパフォーマンスを発揮しており、その内的推論プロセスに強い関心が持たれています。LLMがこれらの驚くべき結果を生み出すメカニズムを理解することは、将来の人工知能エージェントの発展と、それらを人間の価値観と一致させることの両方に重要な意味を持ちます。しかしながら、既存のLLMのアーキテクチャでは、その内的プロセスを説明することが非常に難しくなっています。そのため、研究者は心理学研究で一般的に使用される手法を借用して、LLMの推論パターンを探索し始め、「機械心理学」という新しい研究分野が生まれました。 本論文の著者 本論文の執筆者は以下の機関に所属しています。 - Guilherme F.C.F. Almeida, Insper教育...