Open Agent Leaderboard offre un pipeline d'évaluation complet pour les agents d'IA open-source. Il comprend une suite de tâches sélectionnées couvrant le raisonnement, la planification, la Q&R et l'utilisation d'outils, un environnement automatisé pour exécuter les agents dans des environnements isolés, et des scripts pour collecter des métriques de performance telles que le taux de succès, le temps d'exécution et la consommation de ressources. Les résultats sont agrégés et affichés sur un tableau de classement web avec filtres, graphiques et comparaisons historiques. Le cadre supporte Docker pour des configurations reproductibles, des modèles d'intégration pour les architectures d'agents populaires, et des configurations extensibles pour ajouter facilement de nouvelles tâches ou métriques.

gym-multigrid fournit une série d'environnements en grille personnalisables conçus pour la navigation multi-chambres et les tâches d'exploration en apprentissage par renforcement. Chaque environnement se compose de pièces interconnectées remplies d'objets, de clés, de portes et d'obstacles. Les utilisateurs peuvent ajuster la taille de la grille, la configuration des pièces et le placement des objets de manière programmatique. La bibliothèque prend en charge les modes d'observation complets ou partiels, offrant des représentations d'état RGB ou matricielles. Les actions incluent le déplacement, l'interaction avec les objets et la manipulation des portes. En l'intégrant comme environnement Gym, les chercheurs peuvent exploiter n'importe quel agent compatible Gym pour former et évaluer des algorithmes sur des tâches telles que des puzzles clé-portes, la récupération d'objets ou la planification hiérarchique. La conception modulaire et les dépendances minimales de gym-multigrid en font un outil idéal pour comparer de nouvelles stratégies d'IA.

LifelongAgentBench est conçu pour simuler des environnements d'apprentissage continu du monde réel, permettant aux développeurs de tester des agents IA sur une séquence de tâches évolutives. Le cadre offre une API plug-and-play pour définir de nouveaux scénarios, charger des jeux de données et configurer des politiques de gestion de mémoire. Des modules d'évaluation intégrés calculent des métriques telles que transfert en avant, transfert en arrière, taux d'oubli et performance cumulative. Les utilisateurs peuvent déployer des implémentations de base ou intégrer des agents propriétaires, facilitant une comparaison directe dans des conditions identiques. Les résultats sont exportés sous forme de rapports standardisés, avec des graphiques interactifs et des tableaux. L'architecture modulaire supporte des extensions avec des chargeurs de données, des métriques et des plugins de visualisation personnalisés, permettant aux chercheurs et ingénieurs d'adapter la plateforme à divers domaines d'application.

Ce projet open-source offre un cadre complet d'apprentissage par renforcement multi-agent basé sur PyTorch et Unity ML-Agents. Il propose des algorithmes DDPG décentralisés, des wrappers d'environnements et des scripts d'entraînement. Les utilisateurs peuvent configurer les politiques d'agents, les réseaux critiques, les buffers de relecture et les travailleurs d'entraînement parallèles. Les hooks de journalisation permettent la surveillance avec TensorBoard, tandis qu'une architecture modulaire supporte des fonctions de récompense et paramètres d'environnement personnalisés. Le dépôt inclut des scènes Unity d'exemple illustrant des tâches de navigation collaborative, idéal pour étendre et benchmarker des scénarios multi-agent en simulation.

MultiAgentPacman offre un environnement de jeu en Python où les utilisateurs peuvent implémenter, visualiser et benchmarker plusieurs agents IA dans le domaine Pacman. Il supporte des algorithmes de recherche adverse tels que minimax, expectimax, élagage alpha-bêta, ainsi que des agents personnalisés utilisant l'apprentissage par renforcement ou des heuristiques. Le cadre inclut une GUI simple, des contrôles en ligne de commande et des outils pour enregistrer les statistiques de jeu et comparer la performance des agents dans des scénarios compétitifs ou coopératifs.