視覚と言語の統合によるゼロショット人-物相互作用検出に向けて

視覚と言語の統合によるゼロショット人-物相互作用検出に向けて

視覚-言語統合に基づくゼロショット人間-物体相互作用検出研究 学術的背景 人間-物体相互作用(Human-Object Interaction, HOI)検出は、コンピュータビジョン分野における重要な研究テーマであり、画像内の人間と物体の間の相互作用を識別することを目的としています。従来のHOI検出手法は主に教師あり学習に依存しており、大量の人手によるアノテーションデータを用いてモデルを訓練する必要があります。しかし、この手法は未見の物体カテゴリに対して汎化能力が限られています。さらに、現実世界における人間-物体相互作用は多様で複雑であり、すべての可能な相互作用カテゴリを手動でアノテーションすることは時間と労力がかかります。 近年、視覚-言語モデル(Vision-Language Model...

レジスティブメモリベースのゼロショット液体状態機械による多モーダルイベントデータ学習

新型抵抗変化メモリ駆動のゼロショット多モーダルイベント学習システム:ハードウェア-ソフトウェア協調設計の研究報告 学術的背景 人間の脳は複雑なスパイキングニューラルネットワーク(Spiking Neural Network, SNN)であり、極めて低い消費電力で多モーダル信号においてゼロショット学習(Zero-shot Learning)を行う能力を持っています。これは既存の知識を一般化して新しいタスクに対処する能力です。しかし、この能力をニューロモルフィックハードウェアに複製するには、ハードウェアとソフトウェアの両面で課題があります。ハードウェア面では、ムーアの法則の減速とフォン・ノイマンボトルネック(von Neumann bottleneck)が従来のデジタルコンピュータの効率を制限し...