La plateforme Foundry AI offre un cadre de simulation web déterministe et d'annotation, permettant aux utilisateurs de collecter des labels de haute qualité, d'évaluer efficacement des agents de navigateur et de déboguer les problèmes de performance. Elle garantit des tests reproductibles et une évaluation évolutive sans les défis de la dérive web, des interdictions IP et des limites de débit. Construite par des experts de l'industrie, la plateforme améliore l'évaluation des agents, l'amélioration continue et le débogage des performances dans un environnement contrôlé.

Open Agent Leaderboard offre un pipeline d'évaluation complet pour les agents d'IA open-source. Il comprend une suite de tâches sélectionnées couvrant le raisonnement, la planification, la Q&R et l'utilisation d'outils, un environnement automatisé pour exécuter les agents dans des environnements isolés, et des scripts pour collecter des métriques de performance telles que le taux de succès, le temps d'exécution et la consommation de ressources. Les résultats sont agrégés et affichés sur un tableau de classement web avec filtres, graphiques et comparaisons historiques. Le cadre supporte Docker pour des configurations reproductibles, des modèles d'intégration pour les architectures d'agents populaires, et des configurations extensibles pour ajouter facilement de nouvelles tâches ou métriques.

L'environnement Beer Game fournit une simulation en temps discret d'une chaîne d'approvisionnement en bière à quatre étapes — détaillant, grossiste, distributeur, fabricant — avec une interface OpenAI Gym. Les agents reçoivent des observations incluant le stock en main, le stock en pipeline et les commandes entrantes, puis produisent des quantités de commande. L'environnement calcule les coûts par étape pour la détention d'inventaire et les retards, et supporte des distributions de demande et des délais de livraison personnalisables. Il s'intègre parfaitement avec des bibliothèques RL populaires comme Stable Baselines3, permettant aux chercheurs et éducateurs de benchmarker et former des algorithmes sur des tâches d'optimisation de la chaîne d'approvisionnement.

Coval aide les entreprises à simuler des milliers de scénarios à partir de quelques cas de test, leur permettant de tester leurs agents vocaux et de chat de manière exhaustive. Construit par des experts en tests autonomes, Coval propose des fonctionnalités telles que des simulations vocales personnalisables, des métriques intégrées pour les évaluations et un suivi des performances. Elle est conçue pour les développeurs et les entreprises cherchant à déployer des agents IA fiables plus rapidement.

Dino Reinforcement Learning offre une boîte à outils complète pour entraîner un agent IA à jouer au jeu de dinosaure de Chrome via reinforcement learning. En s'intégrant avec une instance Chrome sans interface via Selenium, il capture en temps réel les frames du jeu et les traite en représentations d'état optimisées pour les entrées du réseau Q profond. Le framework comprend des modules pour la mémoire de rejouement, l'exploration epsilon-greedy, des modèles de réseaux neuronaux convolutifs, et des boucles d'entraînement avec des hyperparamètres personnalisables. Les utilisateurs peuvent suivre la progression de l'entraînement via des logs en console et sauvegarder des checkpoints pour une évaluation ultérieure. Après l'entraînement, l'agent peut être déployé pour jouer en direct de manière autonome ou être testé contre différentes architectures de modèles. Son design modulaire permet une substitution facile des algorithmes RL, faisant de cette plateforme un environnement de experimentation flexible.

HMAS est un cadre open-source en Python permettant le développement de systèmes hiérarchiques multi-agents. Il offre des abstractions pour définir des hiérarchies d'agents, des protocoles de communication inter-agents, l'intégration d'environnements, et des boucles d'entraînement intégrées. Rechercheurs et développeurs peuvent utiliser HMAS pour prototyper des interactions complexes entre agents, entraîner des politiques coordonnées et évaluer la performance dans des environnements simulés. Son design modulaire facilite l'extension et la personnalisation des agents, environnements et stratégies d'entraînement.

MAPF_G2RL est un cadre de recherche open-source qui relie la théorie des graphes et l'apprentissage par renforcement profond pour résoudre le problème de recherche de chemin multi-agents (MAPF). Il encode les nœuds et les arêtes en représentations vectorielles, définit des fonctions de récompense spatiales et sensibles aux collisions, et supporte divers algorithmes RL tels que DQN, PPO et A2C. Le cadre automatise la création de scénarios en générant des graphes aléatoires ou en important des cartes du monde réel, et orchestre des boucles d'entraînement qui optimisent simultanément les politiques pour plusieurs agents. Après apprentissage, les agents sont évalués dans des environnements simulés pour mesurer l'optimalité des chemins, le temps de sortie et les taux de réussite. Sa conception modulaire permet aux chercheurs d'étendre ses composants, d'intégrer de nouvelles techniques MARL et de benchmarker contre des solveurs classiques.