原子間相互作用力の幾何強化事前トレーニング はじめに 分子動力学(MD)シミュレーションは、物理学、化学、生物学、材料科学などの分野で重要な役割を果たし、原子レベルのプロセスの洞察を提供しています。MDシミュレーションの精度と効率は、分子系の原子間相互作用を記述する原子間ポテンシャル関数に依存しています。古典的MDでは経験式を使用し、パラメータを当てはめる必要がありますが、計算コストは低いものの精度が不十分です。一方、第一原理MDでは、シュレーディンガー方程式を解くことで精密な相互作用を得ることができますが、計算量が非常に大きくなります。そこで、機械学習による原子間ポテンシャル(MLIPs)が、第一原理計算から得られるエネルギーと力をフィッティングすることで、ab initio精度に近づきつ...

神経科学研究で重大な突破:深層学習技術を用いて脳波信号から自然言語を復号化する ニューヨーク大学の学際的研究チームが最近、神経科学と人工知能の分野で重大な突破を遂げました。彼らは深層学習に基づく新しいフレームワークを開発し、人間の脳の神経信号から直接自然な人間の声を復号化して合成することができます。この革新的な成果は、失語症や失音症の患者のための新世代の音声脳機械インターフェースの開発につながる可能性があります。 研究の動機 音声障害は患者の社会生活と生活の質に深刻な影響を与えます。過去数十年にわたり、研究者たちは、脳から音声を復号化し合成する神経インプラントを開発することで、これらの患者のコミュニケーション能力を回復させようと努力してきました。しかし、トレーニングに必要な脳と音声データの希...

早期の医薬品発見に従事する研究者は、およそ10の60乗の可能な分子構造の中から、薬理活性を持つ候補分子を見つけるという大きな課題に直面しています。この問題を解決する1つの有効な方法は、より小さな「フラグメント」分子から始めることで、この戦略はフラグメントベースの医薬品設計(FBDD)と呼ばれています。FBDDプロセスでは、まず計算機を使ってターゲットタンパク質の結合ポケットに結合するフラグメントを選別し、次にそれらのフラグメントを1つの化合物に接続します。フラグメントを接続する際には、フラグメントの幾何学的な構造とタンパク質ポケットの構造を考慮して、高い親和性を持つ潜在的な医薬品分子を設計する必要があります。 この論文では、DiffLinkerという新しいリンカー(linker)分子設計手法...

この論文は質量分析分子予測のためのグラフトランスフォーマーモデル(MassFormer)に関するものです。この研究は、質量分析データにおける分子同定問題に対して、小分子の質量分析スペクトルを予測するための新しい深層学習手法を提案しています。 背景紹介: 質量分析(MS)はタンパク質体学、代謝体学、環境化学など、様々な分野で広く使用される分析手法で、サンプル中の化学物質を同定および定量するために用いられます。しかしながら、小分子の多くについては、その断片化過程の複雑さゆえに、質量分析スペクトルを正確にシミュレートすることが常にこの分野での重要な課題となっています。従来のルールベースの手法(CFMなど)には性能と適用範囲の制限があります。近年、深層学習手法が質量分析予測に応用されるようになりまし...

現在、乱流中の流体によって運ばれる微粒子の統計的および幾何学的性質の研究には大きな課題があります。過去30年にわたり、理論、数値シミュレーション、実験の分野で優れた努力が払われてきましたが、乱流微粒子軌跡の統計と位相的特性を実際に再現できるモデルは未だに不足しています。本研究では、最新の拡散モデル(diffusion model)に基づく機械学習手法を提案し、三次元の高レイノルズ数乱流中の単一微粒子軌跡を生成することで、直接数値シミュレーションや実験によって信頼できるラグランジュデータを取得する必要性を回避しました。 論文情報: 本論文の著者はローマ大学など複数の機関に所属しており、2024年4月の「Nature Machine Intelligence」誌に掲載されました。 研究方法: (...

この研究では、複雑なシステムを正確にシミュレートできる代理モデルを効率的に構築するためのオンライン学習手法が提案されています。この手法には、以下の3つの主要な構成要素があります。 新しい訓練およびテストデータを生成するためのサンプリング戦略 訓練データから候補の代理モデルを生成するための学習戦略 テストデータ上での候補の代理モデルの有効性を評価するための検証指標 この論文では、著者はRadial Basis Function(RBF)補間を代理モデルの応答面として使用しています。このオンライン手法は、代理モデルが応答面のすべてのローカル極値点(端点を含む)を含むことを保証することを目的としており、代理モデルのパフォーマンスが有効性の閾値を下回る場合に再訓練する連続的な検証と更新のメカニズムを...

現在、大規模言語モデル(LLM)は、さまざまな分野で専門家レベルのパフォーマンスを発揮しており、その内的推論プロセスに強い関心が持たれています。LLMがこれらの驚くべき結果を生み出すメカニズムを理解することは、将来の人工知能エージェントの発展と、それらを人間の価値観と一致させることの両方に重要な意味を持ちます。しかしながら、既存のLLMのアーキテクチャでは、その内的プロセスを説明することが非常に難しくなっています。そのため、研究者は心理学研究で一般的に使用される手法を借用して、LLMの推論パターンを探索し始め、「機械心理学」という新しい研究分野が生まれました。 本論文の著者 本論文の執筆者は以下の機関に所属しています。 - Guilherme F.C.F. Almeida, Insper教育...

導入: 現在、事前学習済み言語モデル(PLM)は自然言語処理分野で広く応用されていますが、学習用データ中の社会的偏りを継承し、増幅する問題があります。社会的偏りがあると、PLMの実際の応用において予期せぬリスクが生じる可能性があります。例えば、自動求職選考システムでは性別による偏りのために、論理力が必要な仕事(医者、プログラマーなど)は男性に割り当てられ、介護力が必要な仕事(看護師、ベビーシッターなど)は女性に割り当てられる可能性があります。医療システムでは人種による偏りがある可能性があり、同じリスク水準でも黒人患者の方が白人患者より「虚弱」と評価される可能性があります。そのため、PLMに組み込まれた社会的偏りを除去することは、意義があり、チャレンジングな研究分野となっています。 論文の出所...

非凸モデルと異種データ環境下でdecentralizedSGD問題を解決するための一般的なモメンタム範疇について 研究背景の紹介 近年、IoTやエッジコンピューティングの台頭に伴い、分散機械学習が急速に発展し、特にdecentralized学習パラダイムが注目されています。しかし、実際のシナリオでは、非凸目的関数とデータの異種性が分散学習の効率とパフォーマンスを制限する2つの大きな課題となっています。 非凸最適化目的関数は深層学習モデルに広く存在し、複数の局所最適解が存在する可能性があるため、モデルの精度低下や不安定な学習過程などの問題が生じる可能性があります。同時に、分散環境においては、計算に参加する各ノードが保持するデータ分布に差異(異種性)があり、このデータの偏りが収束性と一般化パフォ...

導入 人工知能システムが常識知識を欠いていることは、その分野の発展を制約する主な障害の1つでした。近年、ニューラル言語モデルと常識知識グラフによって長足の進歩が得られたものの、人間の知性の重要な構成要素である「概念化」は人工知能システムにうまく反映されていませんでした。人間は、具体的な事物や状況を抽象概念に概念化し、その上で推論することで、世界中の無限の実体や状況を取得し理解しています。しかし、有限の知識グラフでは現実世界の多種多様な実体や状況をカバーできず、それらの関係や推論はおろか話になりません。 本研究では、常識推論における概念化の役割を深く探求し、人間の概念化過程をシミュレートするフレームワークを構築しました。既存の状況常識知識グラフから抽象概念に関する事象知識や、それらの抽象概念に...