非凸モデルと異種データ環境下でdecentralizedSGD問題を解決するための一般的なモメンタム範疇について 研究背景の紹介 近年、IoTやエッジコンピューティングの台頭に伴い、分散機械学習が急速に発展し、特にdecentralized学習パラダイムが注目されています。しかし、実際のシナリオでは、非凸目的関数とデータの異種性が分散学習の効率とパフォーマンスを制限する2つの大きな課題となっています。 非凸最適化目的関数は深層学習モデルに広く存在し、複数の局所最適解が存在する可能性があるため、モデルの精度低下や不安定な学習過程などの問題が生じる可能性があります。同時に、分散環境においては、計算に参加する各ノードが保持するデータ分布に差異(異種性)があり、このデータの偏りが収束性と一般化パフォ...