Pits and Orbs — это открытая среда для обучения с усилением, реализованная на Python, предлагающая пошаговый многопользовательский мир с клетчатой сеткой, в которой агенты преследуют цели и сталкиваются с опасностями окружающей среды. Каждый агент должен перемещаться по настраиваемой сетке, избегать случайных ловушек, которые штрафуют или завершают эпизоды, и собирать сферы для положительных наград. Среда поддерживает как соревновательные, так и кооперативные режимы, позволяя исследовать различные сценарии обучения. Простая API легко интегрируется с популярными RL-библиотеками, такими как Stable Baselines и RLlib. Основные возможности включают регулируемые размеры сетки, динамическое распределение ловушек и сфер, настраиваемые структуры наград и опциональный логинг для анализа тренировки.

Среда Beer Game обеспечивает дискретное моделирование цепочки поставок пива из четырёх этапов — розничного продавца, оптовика, дистрибьютора и производителя — с интерфейсом OpenAI Gym. Агентам предоставляются наблюдения, такие как наличие запасов, запас в pipeline и входящие заказы, после чего они выводят количество заказов. Среда рассчитывает издержки на хранение запасов и обратных заказов за каждый шаг и поддерживает настраиваемые распределения спроса и сроки выполнения. Она беспрепятственно интегрируется с популярными библиотеками RL, такими как Stable Baselines3, позволяя исследователям и педагогам тестировать и обучать алгоритмы для задач оптимизации цепочките поставок.