SeeAct está diseñado para capacitar a agentes visión-lenguaje con una pipeline de dos etapas: un módulo de planificación impulsado por grandes modelos de lenguaje genera subobjetivos basados en escenas observadas, y un módulo de ejecución traduce estos subobjetivos en acciones específicas del entorno. Una columna vertebral de percepción extrae características de objetos y escenas de imágenes o simulaciones. La arquitectura modular permite reemplazar fácilmente planificadores o redes de percepción y soporta evaluación en AI2-THOR, Habitat y entornos personalizados. SeeAct acelera la investigación en IA embebida interactiva ofreciendo descomposición de tareas de extremo a extremo, acoplamiento y ejecución.