DEf-MARL (Cadre d'exécution décentralisé pour l'apprentissage par renforcement multi-agents) fournit une infrastructure robuste pour exécuter et former des agents coopératifs sans contrôleurs centralisés. Il exploite des protocoles de communication peer-to-peer pour partager les politiques et observations entre agents, permettant une coordination par interactions locales. Le cadre s'intègre parfaitement avec des outils RL courants tels que PyTorch et TensorFlow, offrant des wrappers d'environnement personnalisables, la collecte distribuée de rollouts et des modules de synchronisation de gradients. Les utilisateurs peuvent définir des espaces d'observation, des fonctions de récompense et des topologies de communication spécifiques à chaque agent. DEf-MARL supporte l'ajout et la suppression dynamiques d'agents en cours d'exécution, une exécution tolérante aux fautes en répliquant des états critiques sur les nœuds, et une planification de communication adaptative pour équilibrer exploration et exploitation. Il accélère la formation par la parallélisation des simulations d'environnements et la réduction des goulets d'étranglement centraux, ce qui le rend adapté à la recherche MARL à grande échelle et aux simulations industrielles.

VMAS est une boîte à outils complète pour construire et entraîner des systèmes multi-agents utilisant l'apprentissage par renforcement profond. Il supporte la simulation parallèle sur GPU de centaines d'instances d'environnement, permettant une collecte de données à haut débit et un entraînement évolutif. VMAS inclut des implémentations des algorithmes MARL populaires tels que PPO, MADDPG, QMIX et COMA, avec des interfaces modulaires pour la politique et l'environnement pour une prototypage rapide. Le cadre facilite la formation centralisée avec exécution décentralisée (CTDE), propose une personnalisation du façonnage des récompenses, des espaces d'observation et des hooks de rappel pour la journalisation et la visualisation. Avec sa conception modulaire, VMAS s'intègre parfaitement avec les modèles PyTorch et les environnements externes, ce qui en fait un choix idéal pour la recherche dans les tâches coopératives, compétitives et à motivations mixtes en robotique, gestion du trafic, allocation des ressources et scénarios d'IA de jeux.

AutoDRIVE Cooperative MARL est un cadre open-source conçu pour entraîner et déployer des politiques d'apprentissage par renforcement multi-agent coopératif (MARL) pour des tâches de conduite autonome. Il s'intègre avec des simulateurs réalistes pour modéliser des scénarios de trafic tels que les intersections, le convoi sur autoroute et la fusion. Le cadre implémente une formation centralisée avec une exécution décentralisée, permettant aux véhicules d'apprendre des politiques partagées pour maximiser l'efficacité et la sécurité globales du trafic. Les utilisateurs peuvent configurer les paramètres de l’environnement, choisir parmi des algorithmes MARL de base, visualiser la progression de l'apprentissage et évaluer la coordination des agents.