Pits and Orbs é um ambiente de aprendizado por reforço de código aberto implementado em Python, oferecendo um mundo em grade multi-agente baseado em turnos onde os agentes perseguem objetivos e enfrentam perigos ambientais. Cada agente deve navegar por uma grade personalizável, evitar poços colocados aleatoriamente que penalizam ou encerram episódios, e coletar orbes para recompensas positivas. O ambiente suporta modos competitivos e cooperativos, permitindo aos pesquisadores explorar cenários de aprendizado variados. Sua API simples se integra facilmente com bibliotecas populares de RL, como Stable Baselines ou RLlib. Recursos principais incluem dimensões ajustáveis da grade, distribuições dinâmicas de poços e orbes, estruturas de recompensa configuráveis e registro opcional para análise de treinamento.

O ambiente Beer Game fornece uma simulação em tempo discreto de uma cadeia de suprimentos de cerveja de quatro etapas — varejista, atacadista, distribuidor e fabricante — com uma interface OpenAI Gym. Os agentes recebem observações incluindo estoque disponível, estoque em pipeline e pedidos recebidos, e produzem quantidades de pedido. O ambiente calcula custos por etapa para armazenamento e pedidos pendentes, e suporta distribuições de demanda e tempos de entrega personalizáveis. Ele se integra perfeitamente com bibliotecas RL populares como Stable Baselines3, permitindo que pesquisadores e educadores avaliem e treinem algoritmos para tarefas de otimização da cadeia de suprimentos.