SeeAct est conçu pour donner aux agents vision-langage une pipeline en deux étapes : un module de planification alimenté par de grands modèles de langage génère des sous-objectifs basés sur des scènes observées, et un module d'exécution traduit ces sous-objectifs en actions spécifiques à l'environnement. Un backbone de perception extrait des caractéristiques d'objets et de scènes à partir d'images ou de simulations. L'architecture modulaire permet de remplacer facilement les planificateurs ou réseaux de perception et supporte l'évaluation sur AI2-THOR, Habitat et d'autres environnements personnalisés. SeeAct accélère la recherche sur l'IA incarnée interactive en fournissant une décomposition, une mise en contexte et une exécution de tâches de bout en bout.

ggfai fournit une interface unifiée pour définir des objectifs, gérer le raisonnement à plusieurs étapes et maintenir le contexte de conversation avec des modules de mémoire. Il prend en charge des intégrations d'outils personnalisables pour appeler des services ou APIs externes, des flux d'exécution asynchrones et des abstractions sur les modèles GPT d'OpenAI. L'architecture de plugins du cadre vous permet d'échanger des backends de mémoire, des magasins de connaissances et des modèles d'action, simplifiant l'orchestration d'agents dans des tâches telles que le support client, la récupération de données ou les assistants personnels.