インメモリコンピューティングハードウェアを使用した深層ベイジアン能動学習

人工知能（AI）技術の急速な発展に伴い、深層学習は複雑なタスクにおいて顕著な進展を遂げてきました。しかし、深層学習の成功は、大量のラベル付きデータに大きく依存しており、データのラベル付けプロセスは時間がかかる上に、労力がかかり、専門的知識も必要とするため、コストが高いという課題があります。特に、ロボットスキル学習、触媒発見、薬物発見、タンパク質生産最適化などの専門分野では、ラベル付きデータの取得が特に困難で、コストも高くなります。この問題を解決するため、深層ベイジアン能動学習（Deep Bayesian Active Learning, DBAL）が登場しました。DBALは、最も情報量の多いデータを能動的に選択してラベル付けすることで、ラベル付けの効率を大幅に向上させ、限られたラベル付きデータでも高品質な学習を実現します。

しかし、DBALの実現には重要な技術的課題があります。それは、大量の確率変数と高帯域のデータ転送を処理する必要があり、これが従来の決定論的ハードウェアに非常に高い要求を課していることです。従来の補完性金属酸化膜半導体（Complementary Metal-Oxide-Semiconductor, CMOS）ハードウェアは、これらの確率的タスクを処理する際に、膨大な電力消費と遅延を引き起こすことが多いです。そこで、研究チームは、メムリスター（Memristor）を基にしたメモリ内計算（Computation-in-Memory, CIM）フレームワークを提案し、メムリスターの固有のランダム性を活用して、効率的なDBALを実現しました。

この研究は、Yudeng Lin, Bin Gao, Jianshi Tang, Qingtian Zhang, He Qian、およびHuaqiang Wuなどの研究者によって共同で行われました。彼らはTsinghua UniversityのSchool of Integrated CircuitsとBeijing National Research Center for Information Science and Technologyに所属しています。研究成果は2025年1月にNature Computational Science誌に掲載されました。

研究背景と問題

深層学習の成功は、大量のラベル付きデータに依存していますが、多くの実用的なシナリオでは、これらのデータを取得するのにコストがかかるだけでなく、多くの時間と専門知識も必要とします。例えば、ロボットスキル学習では、ロボットは特定のタスクを実行する方法を学ぶために繰り返し試行と調整を行う必要がありますが、そのたびに実験シナリオを再設定する必要があり、これが時間とリソースの大きな負担となります。DBALは、最も情報量の多いデータを能動的に選択してラベル付けすることで、必要なラベル付きデータ量を大幅に減らし、学習効率を向上させ、コストを削減することができます。

しかし、DBALの実現にはハードウェア上の課題があります。DBALは大量の確率変数と高帯域のデータ転送を必要とし、従来のCMOSハードウェアはこれらのタスクを処理する際に、膨大なエネルギー消費と遅延を引き起こすことが多いです。さらに、DBALでは大量のガウス乱数を生成する必要があり、これは計算集約型のタスクであるため、ハードウェアの負担をさらに増大させます。

研究方法とイノベーション

これらの問題を解決するため、研究チームは、メムリスターを基にしたCIMフレームワークを提案しました。メムリスターは、新しい不揮発性メモリデバイスであり、その導電率は印加電圧によって調整することができ、固有のランダム性を持っています。これらの特性を活用することで、メムリスターは効率的に乱数を生成し、並列計算を実現することができるため、データ転送の遅延とエネルギー消費を大幅に削減できます。

具体的には、研究チームは、メムリスター確率的勾配ランジュバン力学（Memristor Stochastic Gradient Langevin Dynamics, MSGLD）法を提案し、メムリスターのランダムな変調特性を利用して、CIMフレームワーク内でDBALを実現しました。この方法の実現可能性と有効性を検証するため、研究チームはメムリスターを基にした確率的CIMシステム上でDBALを実装し、ロボットスキル学習タスクを成功裏にデモンストレーションしました。実験結果は、従来のCMOSハードウェアと比較して、メムリスターを基にしたCIMシステムが速度で44％向上し、153倍のエネルギーを節約できることを示しています。

研究結果と結論

研究チームはまず、メムリスターのランダム特性を分析し、メムリスターが読み取りと変調プロセスにおいてガウス分布に従うランダムな変動を示すことを発見しました。これにより、効率的な乱数生成の基盤が提供されました。その後、彼らはMSGLD法を提案し、メムリスターのランダム特性を活用して、ネットワーク重みの効率的な更新を実現しました。この方法により、メムリスターベイジアン深層ニューラルネットワーク（BDNN）は、不確実なサンプルから効率的に学習し、予測における不確実性を正確に捉えることが可能になりました。

ロボットスキル学習の実験では、研究チームは11×50×50×2のメムリスターBDNNを使用し、DBAL法を活用して、ロボットに水を注ぐスキルを学習させることに成功しました。実験結果は、受動学習法と比較して、能動学習法が同じ量のラベル付きデータでモデルの分類性能とタスク成功率を大幅に向上させたことを示しています。さらに、メムリスターを基にしたCIMシステムは、これらのタスクを処理する際に非常に高いエネルギー効率と速度を示し、ロボットスキル学習などのアプリケーションにおけるその大きな可能性を証明しました。

研究の価値と意義

この研究は、メムリスターを基にしたCIMフレームワークを提案し、MSGLD法を組み合わせることで、効率的なDBALを実現しました。このイノベーションは、ラベル付きデータのコストと時間を大幅に削減するだけでなく、エッジコンピューティングなどのリソースが限られたシナリオにおいて、効率的な学習方法を提供します。さらに、メムリスターの固有のランダム性は、ベイジアン手法における確率的計算の新しいハードウェア実装の道を開き、幅広い応用が期待されます。

今後の研究では、メムリスター技術のより広範なアプリケーションシナリオでの可能性をさらに探求することができます。例えば、薬物発見、触媒設計、タンパク質生産最適化などが挙げられます。また、デバイス間の差異を減らすために、メムリスターの製造と操作条件を最適化する方法も、今後の重要な研究方向となります。

この研究は、深層学習の効率的な実現のための新たな道を開拓し、人工知能分野におけるメムリスター技術の大きな可能性を示しています。