Open Agent Leaderboard offre un pipeline d'évaluation complet pour les agents d'IA open-source. Il comprend une suite de tâches sélectionnées couvrant le raisonnement, la planification, la Q&R et l'utilisation d'outils, un environnement automatisé pour exécuter les agents dans des environnements isolés, et des scripts pour collecter des métriques de performance telles que le taux de succès, le temps d'exécution et la consommation de ressources. Les résultats sont agrégés et affichés sur un tableau de classement web avec filtres, graphiques et comparaisons historiques. Le cadre supporte Docker pour des configurations reproductibles, des modèles d'intégration pour les architectures d'agents populaires, et des configurations extensibles pour ajouter facilement de nouvelles tâches ou métriques.

Simple Playgrounds fournit une plateforme modulaire pour construire des environnements interactifs en grille 2D où des agents peuvent naviguer dans des labyrinthes, interagir avec des objets et accomplir des tâches. Les utilisateurs définissent la disposition de l'environnement, le comportement des objets et les fonctions de récompense via des scripts YAML ou Python simples. Le moteur de rendu Pygame intégré fournit une visualisation en temps réel, tandis qu'une API basée sur des pas garantit une intégration fluide avec des bibliothèques de RL comme Stable Baselines3. Avec le support pour des configurations multi-agent, la détection de collisions et des paramètres physiques personnalisables, Simple Playgrounds facilite les prototypes, le benchmarking et les démonstrations éducatives d'algorithmes IA.

gym-multigrid fournit une série d'environnements en grille personnalisables conçus pour la navigation multi-chambres et les tâches d'exploration en apprentissage par renforcement. Chaque environnement se compose de pièces interconnectées remplies d'objets, de clés, de portes et d'obstacles. Les utilisateurs peuvent ajuster la taille de la grille, la configuration des pièces et le placement des objets de manière programmatique. La bibliothèque prend en charge les modes d'observation complets ou partiels, offrant des représentations d'état RGB ou matricielles. Les actions incluent le déplacement, l'interaction avec les objets et la manipulation des portes. En l'intégrant comme environnement Gym, les chercheurs peuvent exploiter n'importe quel agent compatible Gym pour former et évaluer des algorithmes sur des tâches telles que des puzzles clé-portes, la récupération d'objets ou la planification hiérarchique. La conception modulaire et les dépendances minimales de gym-multigrid en font un outil idéal pour comparer de nouvelles stratégies d'IA.

LifelongAgentBench est conçu pour simuler des environnements d'apprentissage continu du monde réel, permettant aux développeurs de tester des agents IA sur une séquence de tâches évolutives. Le cadre offre une API plug-and-play pour définir de nouveaux scénarios, charger des jeux de données et configurer des politiques de gestion de mémoire. Des modules d'évaluation intégrés calculent des métriques telles que transfert en avant, transfert en arrière, taux d'oubli et performance cumulative. Les utilisateurs peuvent déployer des implémentations de base ou intégrer des agents propriétaires, facilitant une comparaison directe dans des conditions identiques. Les résultats sont exportés sous forme de rapports standardisés, avec des graphiques interactifs et des tableaux. L'architecture modulaire supporte des extensions avec des chargeurs de données, des métriques et des plugins de visualisation personnalisés, permettant aux chercheurs et ingénieurs d'adapter la plateforme à divers domaines d'application.

Le projet mario-ai propose une pipeline complète pour développer des agents IA afin de maîtriser Super Mario Bros. en utilisant la neuroévolution. En intégrant une implémentation NEAT basée sur Python avec l’environnement OpenAI Gym SuperMario, il permet aux utilisateurs de définir des critères de fitness, des taux de mutation, et des topologies de réseaux personnalisés. Pendant l’entraînement, le framework évalue des générations de réseaux neuronaux, sélectionne les génomes performants, et fournit une visualisation en temps réel du jeu et de l’évolution du réseau. De plus, il supporte la sauvegarde et le chargement de modèles entraînés, l’exportation des meilleurs génomes, et la génération de rapports détaillés de performance. Chercheurs, éducateurs et amateurs peuvent étendre le code à d’autres environnements de jeux, expérimenter avec des stratégies évolutionnaires, et benchmarker le progrès de l’apprentissage IA à travers différents niveaux.

Ce projet open-source offre un cadre complet d'apprentissage par renforcement multi-agent basé sur PyTorch et Unity ML-Agents. Il propose des algorithmes DDPG décentralisés, des wrappers d'environnements et des scripts d'entraînement. Les utilisateurs peuvent configurer les politiques d'agents, les réseaux critiques, les buffers de relecture et les travailleurs d'entraînement parallèles. Les hooks de journalisation permettent la surveillance avec TensorBoard, tandis qu'une architecture modulaire supporte des fonctions de récompense et paramètres d'environnement personnalisés. Le dépôt inclut des scènes Unity d'exemple illustrant des tâches de navigation collaborative, idéal pour étendre et benchmarker des scénarios multi-agent en simulation.