MARTI (Multi-Agent Reinforcement Learning Toolkit and Interface) est un cadre orienté recherche qui facilite le développement, l'évaluation et le benchmarking des algorithmes RL multi-agent. Il offre une architecture plug-and-play où les utilisateurs peuvent configurer des environnements personnalisés, des politiques d'agents, des structures de récompense et des protocoles de communication. MARTI s'intègre aux bibliothèques de deep learning populaires, supporte l'accélération GPU et l'entraînement distribué, et génère des journaux détaillés ainsi que des visualisations pour l'analyse des performances. La conception modulaire du toolkit permet une prototypage rapide des approches novatrices et une comparaison systématique avec des baselines standard, ce qui le rend idéal pour la recherche académique et les projets pilotes dans les systèmes autonomes, la robotique, l'IA de jeu et les scénarios multi-agents coopératifs.

Pits and Orbs est un environnement open-source pour l’apprentissage par renforcement, implémenté en Python, offrant un monde de grille multi-agents au tour par tour où les agents poursuivent des objectifs et font face à des dangers environnementaux. Chaque agent doit naviguer sur une grille configurable, éviter des pièges placés aléatoirement qui pénalisent ou terminent les épisodes, et collecter des sphères pour des récompenses positives. L’environnement prend en charge des modes compétitifs et coopératifs, permettant aux chercheurs d’explorer divers scénarios d’apprentissage. Son API simple s’intègre parfaitement avec des bibliothèques RL populaires comme Stable Baselines ou RLlib. Les principales caractéristiques incluent des dimensions de grille ajustables, des distributions dynamiques de pièges et de sphères, des structures de récompense configurables, et un journalisation optionnelle pour l’analyse de l’entraînement.

MultiAgentModel fournit une API unifiée pour définir des environnements personnalisés et des classes d'agents pour des scénarios multi-agents. Les développeurs peuvent spécifier les espaces d'observation et d'action, les structures de récompense et les canaux de communication. La prise en charge intégrée d'algorithmes RL populaires comme PPO, DQN et A2C permet un entraînement avec une configuration minimale. Les outils de visualisation en temps réel aident à surveiller les interactions des agents et les métriques de performance. L'architecture modulaire garantit une intégration facile de nouveaux algorithmes et modules personnalisés. Elle inclut également un système de configuration flexible pour l'ajustement des hyperparamètres, des utilitaires de journalisation pour le suivi des expériences, et la compatibilité avec les environnements OpenAI Gym pour une portabilité transparente. Les utilisateurs peuvent collaborer sur des environnements partagés et rejouer des sessions enregistrées pour analyse.