MARL-DPP — это открытый исходный код, позволяющий организовать многоагентное обучение с подкреплением (MARL) с принудительным разнообразием через детерминантные точечные процессы (DPP). Традиционные подходы MARL часто сталкиваются с сходимостью политик к похожему поведению; MARL-DPP решает эту проблему, внедряя меры на базе DPP, чтобы поощрять агентов сохранять разнообразное распределение действий. Набор инструментов предоставляет модульный код для включения DPP в цели обучения, выбор политик и управление исследованием. В комплект входит готовое интегрирование с стандартными средами OpenAI Gym и Multi-Agent Particle Environment (MPE), а также утилиты для управления гиперпараметрами, журналирования и визуализации метрик разнообразия. Исследователи могут оценить влияние ограничений на разнообразие на кооперативные задачи, ресурсо-распределение и соревновательные игры. Расширяемый дизайн поддерживает пользовательские среды и продвинутые алгоритмы, способствуя исследованию новых вариантов MARL-DPP.

multiagent_envs — это модульный набор сред на Python, предназначенных для исследований и разработки в области обучения с подкреплением с несколькими агентами. Включает сценарии, такие как кооперативная навигация, хищник-жертва, социальные дилеммы и соревновательные арены. Каждая среда позволяет задавать число агентов, характеристики наблюдений, функции вознаграждения и динамику столкновений. Фреймворк легко интегрируется с популярными RL-библиотеками как Stable Baselines и RLlib, поддерживая векторизированное обучение, параллельное выполнение и легкое логирование. Пользователи могут расширять существующие сценарии или создавать новые с помощью простой API, ускоряя экспериментирование с алгоритмами MADDPG, QMIX, PPO в воспроизводимых условиях.

PyGame Learning Environment (PLE) — это открытый фреймворк на Python, разработанный для упрощения разработки, тестирования и бенчмаркинга агентов обучения с подкреплением в пользовательских игровых сценариях. Он предоставляет коллекцию легких игр на базе Pygame с встроенной поддержкой наблюдений агентом, дискретных и непрерывных пространств действий, формирования наград и визуализации окружения. PLE обладает удобным API, совместимым с обертками OpenAI Gym, что обеспечивает бесшовную интеграцию с популярными RL-библиотеками, такими как Stable Baselines и TensorForce. Исследователи и разработчики могут настраивать параметры игр, реализовывать новые игры и использовать векторизированные окружения для ускоренного обучения. Благодаря активному сообществу и обширной документации, PLE служит универсальной платформой для академических исследований, образования и прототипирования реальных RL-приложений.