Pits and Orbs est un environnement open-source pour l’apprentissage par renforcement, implémenté en Python, offrant un monde de grille multi-agents au tour par tour où les agents poursuivent des objectifs et font face à des dangers environnementaux. Chaque agent doit naviguer sur une grille configurable, éviter des pièges placés aléatoirement qui pénalisent ou terminent les épisodes, et collecter des sphères pour des récompenses positives. L’environnement prend en charge des modes compétitifs et coopératifs, permettant aux chercheurs d’explorer divers scénarios d’apprentissage. Son API simple s’intègre parfaitement avec des bibliothèques RL populaires comme Stable Baselines ou RLlib. Les principales caractéristiques incluent des dimensions de grille ajustables, des distributions dynamiques de pièges et de sphères, des structures de récompense configurables, et un journalisation optionnelle pour l’analyse de l’entraînement.

L'environnement Beer Game fournit une simulation en temps discret d'une chaîne d'approvisionnement en bière à quatre étapes — détaillant, grossiste, distributeur, fabricant — avec une interface OpenAI Gym. Les agents reçoivent des observations incluant le stock en main, le stock en pipeline et les commandes entrantes, puis produisent des quantités de commande. L'environnement calcule les coûts par étape pour la détention d'inventaire et les retards, et supporte des distributions de demande et des délais de livraison personnalisables. Il s'intègre parfaitement avec des bibliothèques RL populaires comme Stable Baselines3, permettant aux chercheurs et éducateurs de benchmarker et former des algorithmes sur des tâches d'optimisation de la chaîne d'approvisionnement.