SeeAct est conçu pour donner aux agents vision-langage une pipeline en deux étapes : un module de planification alimenté par de grands modèles de langage génère des sous-objectifs basés sur des scènes observées, et un module d'exécution traduit ces sous-objectifs en actions spécifiques à l'environnement. Un backbone de perception extrait des caractéristiques d'objets et de scènes à partir d'images ou de simulations. L'architecture modulaire permet de remplacer facilement les planificateurs ou réseaux de perception et supporte l'évaluation sur AI2-THOR, Habitat et d'autres environnements personnalisés. SeeAct accélère la recherche sur l'IA incarnée interactive en fournissant une décomposition, une mise en contexte et une exécution de tâches de bout en bout.

Ce dépôt regroupe une collection complète de composants de systèmes multi-agent et de techniques de coordination IA distribuée. Il offre des implémentations d'algorithmes de consensus, de protocoles de négociation Contract-Net, d'attribution de tâches basée sur des enchères, de stratégies de formation de coalitions et de cadres de communication inter-agent. Les utilisateurs peuvent exploiter des environnements de simulation intégrés pour modéliser et tester le comportement des agents sous diverses topologies de réseau, scénarios de latence et modes de défaillance. La conception modulaire permet aux développeurs et chercheurs d'intégrer, d'étendre ou de personnaliser des modules de coordination individuels pour des applications dans les essaims de robotique, la collaboration entre dispositifs IoT, les réseaux électriques intelligents et la prise de décision distribuée.

multiagent_envs offre un ensemble modulaire d'environnements basés sur Python adaptés à la recherche et au développement en apprentissage par renforcement multi-agent. Il inclut des scénarios comme la navigation coopérative, la prédation, les dilemmes sociaux et des arènes compétitives. Chaque environnement permet de définir le nombre d'agents, les caractéristiques d'observation, les fonctions de récompense et la dynamique de collision. Le framework s'intègre facilement avec des bibliothèques RL populaires telles que Stable Baselines et RLlib, permettant des boucles d'entraînement vectorisées, une exécution parallèle et une journalisation facile. Les utilisateurs peuvent étendre des scénarios existants ou en créer de nouveaux via une API simple, accélérant l'expérimentation avec des algorithmes comme MADDPG, QMIX et PPO dans un environnement cohérent et reproductible.