エキスパート混合と3Dアナログインメモリコンピューティングを用いた大規模言語モデルの効率的なスケーリング

混合専門家と3Dアナログインメモリコンピューティングを用いた大規模言語モデルの効率的なスケーリング 学術的背景 近年、大規模言語モデル(Large Language Models, LLMs)は自然言語処理やテキスト生成などの分野で強力な能力を発揮しています。しかし、モデルの規模が拡大するにつれ、訓練や推論のコストも急激に上昇し、特にメモリ使用量、計算遅延、エネルギー消費の面で大きな課題となっています。これがLLMsの広範な応用を妨げる主要なボトルネックの一つとなっています。従来のノイマンアーキテクチャでは、大規模なパラメータを処理する際にデータがメモリと計算ユニットの間で頻繁に移動するため、「ノイマンボトルネック」が生じ、これらの課題がさらに深刻化しています。 この問題を解決するために、研...

効率的かつ解釈可能な電子円二色性スペクトル予測のための分離ピーク特性学習

効率的かつ解釈可能な電子円二色性スペクトル予測:Decoupled Peak Property Learning 学術的背景 電子円二色性スペクトル(Electronic Circular Dichroism, ECD)は、分子のキラリティを研究するための重要なツールであり、特に不斉有機合成や薬品産業において、キラル分子の絶対配置を区別するために使用されます。しかし、既存のECDスペクトル予測手法には、データの不足と解釈可能性の低さという二つの主要な問題があります。これにより、予測結果の信頼性が低下しています。現在のECDスペクトル予測は、分子構造の抽出、立体配座探索、構造最適化、時間依存密度汎関数理論(TD-DFT)計算、ボルツマン重み付けなどの時間のかかる量子化学計算に依存しています。こ...

遺伝子型-表現型ダイナミクスのマッピングのための多モーダル学習

多モーダル学習による遺伝子型と表現型の動的関係の解明 背景紹介 遺伝子型と表現型の複雑な関係は、生物学分野の核心的な問題の一つである。遺伝子型(genotype)は生物体の遺伝情報を指し、表現型(phenotype)はこれらの遺伝情報が特定の環境下でどのように表れるかを指す。1909年にWilhelm Johannsenがこれら二つの用語を提唱し、その関係を定量化しようと試みたが、一世紀以上経った現在でも、遺伝子型がどのように複雑な遺伝子発現パターンを通じて表現型を形作るかを正確に記述することはできていない。近年、単一細胞RNAシーケンシング(single-cell RNA sequencing, scRNA-seq)などの技術の発展により、細胞解像度で遺伝子発現の複雑なダイナミクスを観察す...

インメモリコンピューティングハードウェアを使用した深層ベイジアン能動学習

人工知能(AI)技術の急速な発展に伴い、深層学習は複雑なタスクにおいて顕著な進展を遂げてきました。しかし、深層学習の成功は、大量のラベル付きデータに大きく依存しており、データのラベル付けプロセスは時間がかかる上に、労力がかかり、専門的知識も必要とするため、コストが高いという課題があります。特に、ロボットスキル学習、触媒発見、薬物発見、タンパク質生産最適化などの専門分野では、ラベル付きデータの取得が特に困難で、コストも高くなります。この問題を解決するため、深層ベイジアン能動学習(Deep Bayesian Active Learning, DBAL)が登場しました。DBALは、最も情報量の多いデータを能動的に選択してラベル付けすることで、ラベル付けの効率を大幅に向上させ、限られたラベル付きデー...

マルチタスク学習による分子電子構造の結合クラスター精度への接近

機械学習が量子化学を支援:カップリングクラスタ精度に迫る分子電子構造予測 学術的背景 物理学、化学、材料科学の分野において、計算方法はさまざまな物理現象の背後にあるメカニズムを明らかにし、材料設計を加速するための重要なツールです。しかし、量子化学計算(特に電子構造計算)は計算のボトルネックとなり、計算速度とスケーラビリティを制限しています。近年、機械学習手法が分子動力学シミュレーションの高速化と精度向上に顕著な成功を収めていますが、既存の機械学習モデルの多くは密度汎関数理論(DFT)データベースをトレーニングデータの「真値」として使用しており、その予測精度はDFT自体を超えることができません。DFTは平均場理論として、計算において通常いくつかの化学精度(1 kcal/mol)よりも大きな系統...

動的視覚刺激生成のための時空間スタイル転送アルゴリズム

動的視覚刺激生成のための時空間スタイル転送アルゴリズムに関する研究報告 学術的背景 視覚情報の符号化と処理は、神経科学および視覚科学分野における重要な研究テーマです。ディープラーニング技術の急速な発展に伴い、人工視覚システムと生物学的視覚システムの類似性を研究することが注目を集めています。しかし、特定の仮説を検証するための適切な動的視覚刺激を生成する方法は、依然として不足しています。既存の静的画像生成手法は大きな進展を遂げていますが、動的視覚刺激の処理においては、柔軟性の不足や生成結果が自然な視覚環境の統計的特性から乖離するなどの問題が残されています。そこで、研究者たちは「時空間スタイル転送(Spatiotemporal Style Transfer, STST)」というアルゴリズムを開発し...

加重ネットワークのランダム化のためのシミュレーテッドアニーリングアルゴリズム

シミュレーテッドアニーリングアルゴリズムを用いた重み付きネットワークのランダム化研究 背景紹介 神経科学の分野において、コネクトミクス(connectomics) は、脳の神経ネットワークの構造と機能を研究する重要な分野です。現代のイメージング技術の発展により、研究者は生物学的に意義深いエッジ重み(edge weights) を大量に取得できるようになりました。これらの重み情報は、脳ネットワークの組織と機能を理解する上で極めて重要です。しかし、重み付きネットワーク分析がコネクトミクスで普及しているにもかかわらず、既存のネットワークランダム化モデルの多くはバイナリノード次数(binary node degree) のみを保持し、エッジ重みの重要性を無視しています。これにより、ネットワーク特徴の...

偏微分方程の幾何依存解演算子を学習するためのスケーラブルフレームワーク

導入 近年、偏微分方程式(Partial Differential Equations, PDEs)を数値的に解くことは、工学や医学など幅広い分野で重要な役割を果たしています。これらの手法は、トポロジーや設計最適化、臨床予測などにおいて大きな効果を上げています。しかし、複数の幾何学的形状で繰り返し問題を解くための計算コストが非常に高いため、多くの場面で実用的でなくなることがあります。これに対し、異なる幾何学的条件下でのPDE解の効率を向上させる手法の開発は、近年の科学機械学習分野における研究の焦点となっています。 論文の背景と出典 『A Scalable Framework for Learning the Geometry-Dependent Solution Operators of P...

事前学習済み大規模言語モデルに基づいたヒトタンパク質重要性の包括的予測と解析

事前学習された大規模言語モデルに基づくヒトタンパク質の必須性予測と分析 学術的背景 ヒト必須タンパク質(Human Essential Proteins, HEPs)は、個体の生存と発育に不可欠です。しかし、実験的にHEPsを同定する方法は、コストが高く、時間がかかり、労力も大きいのが一般的です。さらに、既存の計算方法は細胞株レベルでのみHEPsを予測しますが、HEPsは生体ヒト、細胞株、および動物モデル間で顕著に異なります。そのため、複数のレベルで包括的にHEPsを予測する計算手法の開発が重要です。最近、大規模言語モデル(Large Language Models, LLMs)が自然言語処理分野で大きな成功を収めており、タンパク質言語モデル(Protein Language Models,...

毒性制御を伴う合理的なリガンド生成のための深層学習アプローチ

深層学習を応用したターゲットタンパクリガンド生成の最新研究:DeepBlockフレームワークの提案と検証 背景と研究課題 薬物発見プロセスにおいて、特定のタンパク質に結合するリガンド分子(ligand)を探索することは重要な課題です。しかし、現在の仮想スクリーニング(virtual screening)では、化合物ライブラリの規模と化学空間の広さに制約され、目標特性に合致する革新的な化合物を見つけることが困難です。これに対し、デノボ薬物設計(de novo drug design)では、新たな分子構造を最初から生成することで、既存の化合物ライブラリを超える化学空間を探索する可能性が開かれています。 近年、深層生成モデル(deep generative models)は、化学分子生成の分野で大...