本研究は主として生化学実験を対象として，Vision & Language技術を用いた実験の再現性向上のためのフレームワークを提案する．作業手順書をもとに作業をする際に，その作業映像を収録し，またその映像と作業手順書を対応付ける．この対応付けをもとに別の作業者が作業手順書を理解するのを助けたり，手順書内の記述漏れを発見したりすることで作業の効率的な支援を目指す．

本研究はこのような作業支援フレームワークの構築を目指し，以下の課題に取り組む．

• 作業手順書に基づく作業映像を収録し，これにアノテーションをしてデータの整備を進める．
• 映像と手順書の対応関係の獲得や作業誤りを検出するモデルを構築・評価する．
• ARデバイスを用いた作業支援システムを構築する．