Selective Reincarnation вводит динамический механизм обучения на основе популяции, ориентированный на MARL. Производительность каждого агента регулярно оценивается по заранее заданным порогам. Когда производительность агента падает ниже уровня его коллег, его веса сбрасываются к текущему лучшему агенту, эффективно воскрешая его с подтвержденными поведениями. Этот подход сохраняет разнообразие, сбрасывая только тех, кто показывает слабые результаты, минимизируя разрушительные сбросы и направляя исследование к политикам с высоким вознаграждением. Благодаря целенаправленной наследуемости параметров нейронной сети, платформа снижает дисперсию и ускоряет сходимость как в кооперативных, так и в конкурентных средах. Совместима с любыми алгоритмами MARL на основе градиента политики, реализована в PyTorch и включает настраиваемые гиперпараметры для частоты оценки, критериев выбора и настройки стратегии сброса.

Patrolling-Zoo предлагает гибкую структуру, позволяющую пользователям создавать и экспериментировать с задачами многогерового патрулирования на Python. Библиотека включает разнообразные окружения на основе сеток и графов, моделирующие сценарии наблюдения, мониторинга и охвата. Пользователи могут конфигурировать количество агентов, размер карты, топологию, функции наград и наблюдаемые пространства. Благодаря совместимости с PettingZoo и API Gym, она обеспечивает беспрепятственную интеграцию с популярными алгоритмами RL. Эта среда облегчает бенчмаркинг и сравнение MARL-техник в условиях единых настроек. Предоставляя стандартные сценарии и инструменты для настройки новых, Patrolling-Zoo ускоряет исследования в автономной робототехнике, безопасности, поисково-спасательных операциях и эффективном покрытии территории с помощью стратегий многогерового координирования.

Ant_racer — это виртуальная платформа для многоагентного погони и уклонения, предоставляющая игровую среду для изучения многоагентного обучения с подкреплением. Построена на основе OpenAI Gym и Mujoco, позволяет пользователям моделировать взаимодействия между несколькими автономными агентами в задачах погони и уклонения. Платформа поддерживает реализацию и тестирование алгоритмов обучения с подкреплением, таких как DDPG, в физически реалистичной среде. Полезна для исследователей и разработчиков, интересующихся поведением ИИ многопользовательских систем в динамических сценариях.

MARTI (Toolkit и интерфейс для обучения с подкреплением с несколькими агентами) — это исследовательская платформа, которая упрощает разработку, оценку и бенчмаркинг алгоритмов RL с несколькими агентами. Она предлагает plug-and-play архитектуру, в которой пользователи могут настраивать пользовательские среды, политики агентов, структуры вознаграждения и протоколы коммуникации. MARTI интегрируется с популярными библиотеками глубокого обучения, поддерживает ускорение на GPU и распределённое обучение, а также генерирует подробные логи и визуализации для анализа производительности. Модульный дизайн позволяет быстро прототипировать новые подходы и систематически сравнивать их с базовыми линиями, что делает её идеальной для академических исследований и пилотных проектов в автономных системах, робототехнике, игровых ИИ и сценариях кооперативных многоглассных систем.

Этот проект с открытым исходным кодом представляет собой полный фреймворк обучения с подкреплением для нескольких агентов на базе PyTorch и Unity ML-Agents. Включает децентрализованные алгоритмы DDPG, обертки окружения и тренировочные скрипты. Пользователи могут настраивать политики агентов, критические сети, буферы повторных данных и параллельных рабочих. Встроены хуки для логирования и мониторинга с помощью TensorBoard, а модульная структура позволяет легко внедрять пользовательские функции награды и параметры окружения. В репозитории есть примерные сцены Unity с демонстрациями задач совместной навигации, что делает его идеально подходящим для расширения и бенчмаркинга сценариев с множеством агентов в симуляциях.

Шепортинг — это открытая симуляционная платформа, предназначенная для исследований и разработок в области обучения с подкреплением с целью изучения и реализации задач пастушества с несколькими агентами. Она предоставляет среду, совместимую с Gym, в которой агенты могут обучаться выполнять поведение, такое как охватывание, сбор и рассеивание целевых групп в непрерывных или дискретных пространствах. В рамках реализованы модульные функции формировки наград, параметризация среды и утилиты для мониторинга обучения. Пользователи могут задавать препятствия, динамичные популяции агентов и собственные политики с использованием TensorFlow или PyTorch. Скрипты визуализации создают траектории и видео взаимодействия агентов. Модульная структура Шепортинга обеспечивает легкую интеграцию с существующими библиотеками RL, что позволяет воспроизводимые эксперименты, сравнение новых стратегий координации и быстрое создание прототипов решений на базе ИИ.

DeepMind MAS Environment — это библиотека на Python, предоставляющая стандартизированный интерфейс для построения и моделирования задач обучения с множеством агентов. Позволяет настраивать число агентов, определять пространства наблюдений и действий, а также кастомизировать структуры наград. Фреймворк поддерживает каналы коммуникации между агентами, ведение логов производительности и функции отображения. Исследователи могут легко интегрировать DeepMind MAS Environment с популярными библиотеками RL, такими как TensorFlow и PyTorch, для бенчмаркинга новых алгоритмов, тестирования протоколов связи и анализа дискретных и непрерывных управляемых систем.