Halite II est un cadre open-source pour défis qui organise des matchs stratégiques au tour par tour entre bots écrits par l'utilisateur. Chaque tour, les agents reçoivent un état de la carte, émettent des commandes de déplacement et d'attaque, et concourent pour contrôler le plus de territoire. La plateforme inclut un serveur de jeu, un analyseur de carte et un outil de visualisation. Les développeurs peuvent tester localement, affiner leurs heuristiques, optimiser la performance sous contrainte de temps et soumettre leur bot à un tableau de classement en ligne. Le système supporte l'amélioration itérative des bots, la coopération multi-agents et la recherche de stratégies dans un environnement standardisé.

Pits and Orbs est un environnement open-source pour l’apprentissage par renforcement, implémenté en Python, offrant un monde de grille multi-agents au tour par tour où les agents poursuivent des objectifs et font face à des dangers environnementaux. Chaque agent doit naviguer sur une grille configurable, éviter des pièges placés aléatoirement qui pénalisent ou terminent les épisodes, et collecter des sphères pour des récompenses positives. L’environnement prend en charge des modes compétitifs et coopératifs, permettant aux chercheurs d’explorer divers scénarios d’apprentissage. Son API simple s’intègre parfaitement avec des bibliothèques RL populaires comme Stable Baselines ou RLlib. Les principales caractéristiques incluent des dimensions de grille ajustables, des distributions dynamiques de pièges et de sphères, des structures de récompense configurables, et un journalisation optionnelle pour l’analyse de l’entraînement.