Pits and Orbs es un entorno de código abierto para aprendizaje por refuerzo, implementado en Python, que ofrece un mundo en una cuadrícula multi-agente por turnos donde los agentes persiguen objetivos y enfrentan peligros ambientales. Cada agente debe navegar en una cuadrícula ajustable, evitar trampas colocadas aleatoriamente que penalizan o terminan episodios, y recolectar orbes para recompensas positivas. El entorno soporta modos competitivos y cooperativos, permitiendo a investigadores explorar diversos escenarios de aprendizaje. Su API simple se integra perfectamente con bibliotecas RL populares como Stable Baselines o RLlib. Características principales incluyen dimensiones de cuadrícula ajustables, distribuciones dinámicas de trampas y orbes, estructuras de recompensa configurables y registro opcional para análisis del entrenamiento.

El entorno Beer Game proporciona una simulación en tiempo discreto de una cadena de suministro de cerveza de cuatro etapas — minorista, mayorista, distribuidor y fabricante — con una interfaz de OpenAI Gym. Los agentes reciben observaciones que incluyen inventario en mano, stock en línea y pedidos entrantes, y luego producen cantidades de pedidos. El entorno calcula los costos por paso de mantenimiento de inventario y pedidos pendientes, y admite distribuciones de demanda y tiempos de entrega personalizables. Se integra perfectamente con bibliotecas RL populares como Stable Baselines3, permitiendo a investigadores y educadores evaluar y entrenar algoritmos en tareas de optimización de la cadena de suministro.