MARTI (Multi-Agent Reinforcement Learning Toolkit and Interface) est un cadre orienté recherche qui facilite le développement, l'évaluation et le benchmarking des algorithmes RL multi-agent. Il offre une architecture plug-and-play où les utilisateurs peuvent configurer des environnements personnalisés, des politiques d'agents, des structures de récompense et des protocoles de communication. MARTI s'intègre aux bibliothèques de deep learning populaires, supporte l'accélération GPU et l'entraînement distribué, et génère des journaux détaillés ainsi que des visualisations pour l'analyse des performances. La conception modulaire du toolkit permet une prototypage rapide des approches novatrices et une comparaison systématique avec des baselines standard, ce qui le rend idéal pour la recherche académique et les projets pilotes dans les systèmes autonomes, la robotique, l'IA de jeu et les scénarios multi-agents coopératifs.

Le projet Multi Agent Robotic System offre une plateforme modulaire basée sur Python pour développer, simuler et déployer des équipes robotiques coopératives. Il implémente principalement des stratégies de contrôle décentralisé permettant aux robots de partager des informations d'état et de répartir collaborativement les tâches sans coordinateur central. Le système comprend des modules intégrés pour la planification de trajectoires, la prévention des collisions, la cartographie de l'environnement et la planification dynamique des tâches. Les développeurs peuvent intégrer de nouveaux algorithmes en étendant les interfaces fournies, ajuster les protocoles de communication via des fichiers de configuration et visualiser les interactions entre robots dans des environnements simulés. Compatible avec ROS, il supporte la transition transparente de la simulation au matériel réel. Ce cadre accélère la recherche en fournissant des composants réutilisables pour le comportement en essaim, l'exploration collaborative et les expériences d'automatisation d'entrepôt.

NeuralABM est une bibliothèque open-source en Python qui exploite PyTorch pour intégrer des réseaux neuronaux dans la modélisation basée sur des agents. Les utilisateurs peuvent spécifier des architectures d'agents sous forme de modules neuronaux, définir la dynamique de l'environnement et entraîner le comportement des agents via la rétro-propagation sur les étapes de simulation. Le framework supporte des signaux de récompense personnalisés, l'apprentissage par curriculum, ainsi que des mises à jour synchrones ou asynchrones, permettant d'étudier des phénomènes émergents. Avec des utilitaires pour la journalisation, la visualisation et l'exportation de jeux de données, chercheurs et développeurs peuvent analyser la performance des agents, déboguer les modèles et itérer sur la conception des simulations. NeuralABM facilite la combinaison de l'apprentissage par renforcement avec l'ABM pour des applications en sciences sociales, économie, robotique et comportements NPC pilotés par IA dans les jeux. Il fournit des composants modulaires pour la personnalisation de l'environnement, supporte les interactions multi-agents, et offre des hooks pour intégrer des jeux de données ou API externes pour des simulations du monde réel. La conception ouverte favorise la reproductibilité et la collaboration via une configuration claire des expériences et une intégration du contrôle de version.

NKC Multi-Agent Models fournit aux chercheurs et développeurs une boîte à outils complète pour concevoir, entraîner et évaluer des systèmes d'apprentissage par renforcement multi-agents. Elle dispose d'une architecture modulaire où les utilisateurs définissent des politiques agents personnalisées, des dynamiques d’environnement et des structures de récompense. L’intégration transparente avec OpenAI Gym permet un prototypage rapide, tandis que le support de TensorFlow et PyTorch offre une flexibilité dans le choix des moteurs d’apprentissage. Le framework inclut des utilitaires pour la rejouabilité d’expérience, la formation centralisée avec exécution décentralisée, et la formation distribuée sur plusieurs GPUs. Des modules de journalisation et de visualisation étendus capturent les métriques de performance, facilitant le benchmarking et l’ajustement des hyperparamètres. En simplifiant la mise en place de scénarios coopératifs, compétitifs et mixtes, NKC Multi-Agent Models accélère l’expérimentation dans des domaines comme les véhicules autonomes, les essaims robotiques et l’IA de jeu.

CASA est conçue comme un cadre d'autonomie modulaire, prêt à l'emploi, basé sur l'écosystème Robot Operating System (ROS). Elle présente une architecture décentralisée où chaque robot exécute des planificateurs locaux et des nœuds d'arbres de comportement, publiant sur un tableau noir partagé pour les mises à jour de l'état du monde. L'attribution de tâches est gérée par des algorithmes d'enchères qui assignent des missions en fonction des capacités et de la disponibilité des robots. La couche de communication utilise des messages ROS standards sur des réseaux multi-robots pour synchroniser les agents. Les développeurs peuvent personnaliser les paramètres des missions, intégrer des pilotes de capteurs et étendre les bibliothèques de comportements. CASA supporte la simulation de scénarios, la surveillance en temps réel et des outils de journalisation. Sa conception extensible permet aux équipes de recherche d'expérimenter de nouveaux algorithmes de coordination et de déployer sans effort sur diverses plates-formes robotiques, des véhicules terrestres sans pilote aux drones aériens.

Patrolling-Zoo offre un cadre flexible permettant aux utilisateurs de créer et d'expérimenter avec des tâches de patrouille multi-agent en Python. La bibliothèque inclut une variété d'environnements basés sur des grilles et des graphes, simulant des scénarios de surveillance, de contrôle et de couverture. Les utilisateurs peuvent configurer le nombre d'agents, la taille de la carte, la topologie, les fonctions de récompense et les espaces d'observation. Grâce à la compatibilité avec PettingZoo et les API Gym, elle supporte une intégration transparente avec des algorithmes populaires d'apprentissage par renforcement. Cet environnement facilite le benchmarking et la comparaison des techniques MARL sous des paramètres cohérents. En fournissant des scénarios standard et des outils pour en créer de nouveaux, Patrolling-Zoo accélère la recherche en robotique autonome, surveillance de sécurité, opérations de recherche et sauvetage, et couverture efficace des zones en utilisant des stratégies de coordination multi-agents.