AutoDRIVE Cooperative MARL est un cadre open-source conçu pour entraîner et déployer des politiques d'apprentissage par renforcement multi-agent coopératif (MARL) pour des tâches de conduite autonome. Il s'intègre avec des simulateurs réalistes pour modéliser des scénarios de trafic tels que les intersections, le convoi sur autoroute et la fusion. Le cadre implémente une formation centralisée avec une exécution décentralisée, permettant aux véhicules d'apprendre des politiques partagées pour maximiser l'efficacité et la sécurité globales du trafic. Les utilisateurs peuvent configurer les paramètres de l’environnement, choisir parmi des algorithmes MARL de base, visualiser la progression de l'apprentissage et évaluer la coordination des agents.

DEf-MARL (Cadre d'exécution décentralisé pour l'apprentissage par renforcement multi-agents) fournit une infrastructure robuste pour exécuter et former des agents coopératifs sans contrôleurs centralisés. Il exploite des protocoles de communication peer-to-peer pour partager les politiques et observations entre agents, permettant une coordination par interactions locales. Le cadre s'intègre parfaitement avec des outils RL courants tels que PyTorch et TensorFlow, offrant des wrappers d'environnement personnalisables, la collecte distribuée de rollouts et des modules de synchronisation de gradients. Les utilisateurs peuvent définir des espaces d'observation, des fonctions de récompense et des topologies de communication spécifiques à chaque agent. DEf-MARL supporte l'ajout et la suppression dynamiques d'agents en cours d'exécution, une exécution tolérante aux fautes en répliquant des états critiques sur les nœuds, et une planification de communication adaptative pour équilibrer exploration et exploitation. Il accélère la formation par la parallélisation des simulations d'environnements et la réduction des goulets d'étranglement centraux, ce qui le rend adapté à la recherche MARL à grande échelle et aux simulations industrielles.

VMAS est une boîte à outils complète pour construire et entraîner des systèmes multi-agents utilisant l'apprentissage par renforcement profond. Il supporte la simulation parallèle sur GPU de centaines d'instances d'environnement, permettant une collecte de données à haut débit et un entraînement évolutif. VMAS inclut des implémentations des algorithmes MARL populaires tels que PPO, MADDPG, QMIX et COMA, avec des interfaces modulaires pour la politique et l'environnement pour une prototypage rapide. Le cadre facilite la formation centralisée avec exécution décentralisée (CTDE), propose une personnalisation du façonnage des récompenses, des espaces d'observation et des hooks de rappel pour la journalisation et la visualisation. Avec sa conception modulaire, VMAS s'intègre parfaitement avec les modèles PyTorch et les environnements externes, ce qui en fait un choix idéal pour la recherche dans les tâches coopératives, compétitives et à motivations mixtes en robotique, gestion du trafic, allocation des ressources et scénarios d'IA de jeux.

MultiAgentSystems a été conçu pour simplifier le processus de construction et d’évaluation des applications d’apprentissage par renforcement multi-agent (MARL). La plateforme inclut des implémentations d’algorithmes de pointe tels que MADDPG, QMIX, VDN, ainsi que la formation centralisée avec une exécution décentralisée. Elle propose des wrappers d’environnement modulaires compatibles avec OpenAI Gym, des protocoles de communication pour l’interaction des agents et des utilitaires de journalisation pour suivre des métriques telles que la modulation des récompenses et les taux de convergence. Les chercheurs peuvent personnaliser l’architecture des agents, ajuster les hyperparamètres et simuler des scénarios comprenant la navigation coopérative, l’allocation de ressources et des jeux adverses. Avec un support intégré pour PyTorch, l’accélération GPU et l’intégration avec TensorBoard, MultiAgentSystems accélère l’expérimentation et la mise en place de benchmarks dans des domaines multi-agent collaboratifs et compétitifs.