混合専門家と3Dアナログインメモリコンピューティングを用いた大規模言語モデルの効率的なスケーリング 学術的背景 近年、大規模言語モデル（Large Language Models, LLMs）は自然言語処理やテキスト生成などの分野で強力な能力を発揮しています。しかし、モデルの規模が拡大するにつれ、訓練や推論のコストも急激に上昇し、特にメモリ使用量、計算遅延、エネルギー消費の面で大きな課題となっています。これがLLMsの広範な応用を妨げる主要なボトルネックの一つとなっています。従来のノイマンアーキテクチャでは、大規模なパラメータを処理する際にデータがメモリと計算ユニットの間で頻繁に移動するため、「ノイマンボトルネック」が生じ、これらの課題がさらに深刻化しています。 この問題を解決するために、研...