MARL-DPP — это открытый исходный код, позволяющий организовать многоагентное обучение с подкреплением (MARL) с принудительным разнообразием через детерминантные точечные процессы (DPP). Традиционные подходы MARL часто сталкиваются с сходимостью политик к похожему поведению; MARL-DPP решает эту проблему, внедряя меры на базе DPP, чтобы поощрять агентов сохранять разнообразное распределение действий. Набор инструментов предоставляет модульный код для включения DPP в цели обучения, выбор политик и управление исследованием. В комплект входит готовое интегрирование с стандартными средами OpenAI Gym и Multi-Agent Particle Environment (MPE), а также утилиты для управления гиперпараметрами, журналирования и визуализации метрик разнообразия. Исследователи могут оценить влияние ограничений на разнообразие на кооперативные задачи, ресурсо-распределение и соревновательные игры. Расширяемый дизайн поддерживает пользовательские среды и продвинутые алгоритмы, способствуя исследованию новых вариантов MARL-DPP.

MARL Simulator предназначен для эффективной и масштабируемой разработки алгоритмов мультиагентного обучения с подкреплением (MARL). Используя распределённое ядро PyTorch, он позволяет запускать параллельное обучение на нескольких GPU или узлах, значительно сокращая время экспериментов. Модульный интерфейс окружений поддерживает стандартные сценарии — такие как совместная навигация, охотник-жертва и мир в сетке, — а также пользовательские среды. Агентам доступны различные протоколы коммуникации для координации действий, обмена наблюдениями и синхронизации наград. Настраиваемые пространства наград и наблюдений обеспечивают тонкий контроль за динамикой обучения, а встроенные инструменты логирования и визуализации дают постоянный обзор показателей эффективности.

MARTI (Toolkit и интерфейс для обучения с подкреплением с несколькими агентами) — это исследовательская платформа, которая упрощает разработку, оценку и бенчмаркинг алгоритмов RL с несколькими агентами. Она предлагает plug-and-play архитектуру, в которой пользователи могут настраивать пользовательские среды, политики агентов, структуры вознаграждения и протоколы коммуникации. MARTI интегрируется с популярными библиотеками глубокого обучения, поддерживает ускорение на GPU и распределённое обучение, а также генерирует подробные логи и визуализации для анализа производительности. Модульный дизайн позволяет быстро прототипировать новые подходы и систематически сравнивать их с базовыми линиями, что делает её идеальной для академических исследований и пилотных проектов в автономных системах, робототехнике, игровых ИИ и сценариях кооперативных многоглассных систем.

Selective Reincarnation вводит динамический механизм обучения на основе популяции, ориентированный на MARL. Производительность каждого агента регулярно оценивается по заранее заданным порогам. Когда производительность агента падает ниже уровня его коллег, его веса сбрасываются к текущему лучшему агенту, эффективно воскрешая его с подтвержденными поведениями. Этот подход сохраняет разнообразие, сбрасывая только тех, кто показывает слабые результаты, минимизируя разрушительные сбросы и направляя исследование к политикам с высоким вознаграждением. Благодаря целенаправленной наследуемости параметров нейронной сети, платформа снижает дисперсию и ускоряет сходимость как в кооперативных, так и в конкурентных средах. Совместима с любыми алгоритмами MARL на основе градиента политики, реализована в PyTorch и включает настраиваемые гиперпараметры для частоты оценки, критериев выбора и настройки стратегии сброса.