SeeActは、観察されたシーンに基づいてサブゴールを生成する大規模言語モデルによる計画モジュールと、サブゴールを環境固有のアクションに翻訳する実行モジュールの2段階パイプラインで視覚と言語のエージェントを強化するように設計されています。認識バックボーンは、画像やシミュレーションからオブジェクトとシーンの特徴を抽出します。モジュール式のアーキテクチャにより、計画者や認識ネットワークの交換が容易になり、AI2-THOR、Habitat、およびカスタム環境での評価をサポートします。SeeActは、エンドツーエンドのタスク分解、グラウンディング、実行を提供することで、対話型体験AIの研究を促進します。