概念化を通じた抽象的な常識知識の獲得とモデリング

2024-05-18 Sat
導入
人工知能システムが常識知識を欠いていることは、その分野の発展を制約する主な障害の1つでした。近年、ニューラル言語モデルと常識知識グラフによって長足の進歩が得られたものの、人間の知性の重要な構成要素である「概念化」は人工知能システムにうまく反映されていませんでした。人間は、具体的な事物や状況を抽象概念に概念化し、その上で推論することで、世界中の無限の実体や状況を取得し理解しています。しかし、有限の知識グラフでは現実世界の多種多様な実体や状況をカバーできず、それらの関係や推論はおろか話になりません。
本研究では、常識推論における概念化の役割を深く探求し、人間の概念化過程をシミュレートするフレームワークを構築しました。既存の状況常識知識グラフから抽象概念に関する事象知識や、それらの抽象概念に関するより高次の三つ組や推論を取り込みます。このフレームワークでは、まずATOMIC常識知識グラフの事象インスタンスに概念認識と概念化を行い、言語モデルとヒューリスティックルールを使って抽象概念を表す抽象事象と抽象三つ組を生成します。研究者は人工的に注釈付けされたデータセットを構築し、関連するニューラルネットワークモデルを教師あり学習し、ATOMICの上に大規模な抽象知識グラフ「Abstract ATOMIC」を構築しました。実験結果から、この抽象知識グラフを既存の常識モデルに組み込むと、常識推論やゼロショット質問回答などのダウンストリームタスクの性能が顕著に向上することがわかりました。
研究の背景
現在の常識知識の代表的な形式は、イベントを中心とした常識知識グラフで、ノードは自然言語テキストで表されています。ATOMICはその典型例で、日常のシーンとその原因や結果に関する大量の人手による三つ組知識が含まれています。規模は大きいものの、有限の知識グラフでは現実世界の無限の実体や状況をカバーできません。
人間は「概念化」によってこれらの常識知識を獲得していると研究者は考えています。私たちは具体的な経験を抽象概念に概念化し、関連付けることで、現実世界の常識を捉え、新しい事例を理解できるのです。概念は私たちの精神世界を結びつける接着剤で、概念を欠いた知能システムはこの世界を完全に理解できません。しかし、この人間の概念化過程を再現するのは簡単ではなく、言語の本質的な柔軟性、実体/イベントと概念の多対多関係、報告のバイアスなどの課題に取り組む必要があります。
本研究では、テキスト形式の常識知識グラフと概念階層関係に基づいて、ニューラル言語モデルと規則化手法を用いて、抽象的な常識知識を獲得・モデル化することを目指しました。概念化過程を3段階でモデル化しました: 1)イベントの実体/イベントを認識し概念化する 2)概念に基づいて抽象イベントを構築する 3)抽象イベントに関する推論(抽象三つ組)の典型性を検証する。
研究方法
研究者はまず、ヒューリスティックルールと言語モデルを使ってATOMICイベントの実体とイベントを認識・概念化し、候補の抽象イベントを生成しました。品質を保証するため、イベントの概念化と三つ組の概念化のための大規模な人工注釈データセットを構築し、概念化検証器や推論検証器などのニューラルネットワークモデルの教師あり学習に用いました。具体的な手順は以下の通りです。
1) 認識: 構文・意味特徴を利用したヒューリスティックルールで、イベント中の実体とイベントを概念化対象候補として認識する。
2) 概念化: 候補概念を2つの経路で生成する - 言語モデルベースの概念生成器で直接概念を予測する。ヒューリスティックルールで概念階層の概念に候補対象をリンクする。すべての候補概念は概念化検証器でフィルタリングされ、抽象イベントを形成する。
3) 推論検証: 各抽象イベントのインスタンス三つ組に対して推論検証を行い、そのタイプのイベントに一般的に有効な推論を確定し、抽象三つ組を形成する。
4) インスタンス化: 新しいイベントを概念化し、対応する抽象三つ組に基づいて推論を行う。
この過程を通じて、ATOMICに基づいて7万の抽象イベントと295万の抽象三つ組からなる大規模の「Abstract ATOMIC」知識ベースが構築されました。
アプリケーション評価
研究者は、この抽象知識ベースを既存の常識モデルに組み込んだ際のダウンストリームタスクにおける性能を評価しました。
1) 常識モデリング: 抽象知識をCOMETのような因果言語モデルの学習に組み込むと、ATOMICデータセットでのモデル性能が顕著に向上した。
2) ゼロショット常識QA: 合成された質問回答ペアの学習に抽象知識を組み込むと、DeberTaなどの商用大規模言語モデルの複数の常識QAベンチマークでの性能が大幅に向上し(平均1.4%アップ)、CHATGPTを上回った。
3) ConceptNetへの転移: 言語モデルベースの概念生成器は、他の常識知識ベースであるConceptNetにも適用可能であることが予備的に示された。
本研究では、概念化を常識モデリングと推論に導入する問題に体系的にアプローチし、抽象的な常識知識を取得するプロセスを提案し、既存システムに組み込むと大幅にパフォーマンスが向上することを証明しました。これにより、人工知能システムがより良く常識的推論能力を身につけることが期待できます。