Среда совместного поиска обеспечивает гибкую, совместимую с gym многопользовательскую среду обучения с подкреплением, предназначенную для задач совместного поиска как на дискретных сетках, так и в непрерывных пространствах. Агентов можно управлять при частичном наблюдении и обмениваться информацией в соответствии с настраиваемыми топологиями связи. Фреймворк поддерживает предопределенные сценарии, такие как поиск и спасение, отслеживание целей в динамике и совместное картографирование, предлагает API для определения пользовательских сценариев и структур наград. Интегрируется с популярными RL-библиотеками, такими как Stable Baselines3 и Ray RLlib, включает средства журналирования для анализа производительности и встроенные инструменты визуализации для мониторинга в реальном времени. Исследователи могут изменять размеры сеток, число агентов, диапазон сенсоров и механизмы обмена наградами для оценки стратегий координации и эффективной проверки новых алгоритмов.

CrewAI-Learning — это библиотека с открытым исходным кодом, предназначенная для упрощения проектов по обучению с несколькими агентами с усилением. Она предлагает каркасы окружений, модульное определение агентов, настраиваемые функции вознаграждения и набор встроенных алгоритмов, таких как DQN, PPO и A3C, адаптированных для совместных задач. Пользователи могут определять сценарии, управлять циклами обучения, вести журнал метрик и визуализировать результаты. Фреймворк поддерживает динамическую настройку команд агентов и стратегий обмена вознаграждениями, что облегчает прототипирование, оценку и оптимизацию решений ИИ для сотрудничества в различных областях.

MARL-DPP — это открытый исходный код, позволяющий организовать многоагентное обучение с подкреплением (MARL) с принудительным разнообразием через детерминантные точечные процессы (DPP). Традиционные подходы MARL часто сталкиваются с сходимостью политик к похожему поведению; MARL-DPP решает эту проблему, внедряя меры на базе DPP, чтобы поощрять агентов сохранять разнообразное распределение действий. Набор инструментов предоставляет модульный код для включения DPP в цели обучения, выбор политик и управление исследованием. В комплект входит готовое интегрирование с стандартными средами OpenAI Gym и Multi-Agent Particle Environment (MPE), а также утилиты для управления гиперпараметрами, журналирования и визуализации метрик разнообразия. Исследователи могут оценить влияние ограничений на разнообразие на кооперативные задачи, ресурсо-распределение и соревновательные игры. Расширяемый дизайн поддерживает пользовательские среды и продвинутые алгоритмы, способствуя исследованию новых вариантов MARL-DPP.

MARL Simulator предназначен для эффективной и масштабируемой разработки алгоритмов мультиагентного обучения с подкреплением (MARL). Используя распределённое ядро PyTorch, он позволяет запускать параллельное обучение на нескольких GPU или узлах, значительно сокращая время экспериментов. Модульный интерфейс окружений поддерживает стандартные сценарии — такие как совместная навигация, охотник-жертва и мир в сетке, — а также пользовательские среды. Агентам доступны различные протоколы коммуникации для координации действий, обмена наблюдениями и синхронизации наград. Настраиваемые пространства наград и наблюдений обеспечивают тонкий контроль за динамикой обучения, а встроенные инструменты логирования и визуализации дают постоянный обзор показателей эффективности.

MARO (Multi-Agent Resource Optimization) — это фреймворк на Python, предназначенный для поддержки разработки и оценки агентов обучения с подкреплением с несколькими агентами в сценариях цепей поставок, логистики и управления ресурсами. Включает шаблоны для управления запасами, планирования грузовиков, кросс-докинга, аренды контейнеров и прочего. MARO предлагает унифицированный API агентов, встроенные трекеры для ведения экспериментов, возможности параллельного моделирования для масштабных тренировок и инструменты визуализации для анализа эффективности. Платформа модульная, расширяемая, интегрируется с популярными RL-библиотеками, обеспечивая воспроизводимость исследований и быструю прототипирование решений на базе ИИ.

MARTI (Toolkit и интерфейс для обучения с подкреплением с несколькими агентами) — это исследовательская платформа, которая упрощает разработку, оценку и бенчмаркинг алгоритмов RL с несколькими агентами. Она предлагает plug-and-play архитектуру, в которой пользователи могут настраивать пользовательские среды, политики агентов, структуры вознаграждения и протоколы коммуникации. MARTI интегрируется с популярными библиотеками глубокого обучения, поддерживает ускорение на GPU и распределённое обучение, а также генерирует подробные логи и визуализации для анализа производительности. Модульный дизайн позволяет быстро прототипировать новые подходы и систематически сравнивать их с базовыми линиями, что делает её идеальной для академических исследований и пилотных проектов в автономных системах, робототехнике, игровых ИИ и сценариях кооперативных многоглассных систем.

Mava — это библиотека с открытым исходным кодом, основанная на JAX, для разработки, обучения и оценки систем обучения с подкреплением с несколькими агентами. Предлагает готовые реализации кооперативных и соревновательных алгоритмов, таких как MAPPO и MADDPG, а также настраиваемые циклы обучения, поддерживающие однопроходные и распределенные рабочие процессы. Исследователи могут импортировать окружения из PettingZoo или определять собственные окружения и использовать модульные компоненты Mava для оптимизации политики, управления буферами повторного воспроизведения и логирования метрик. Гибкая архитектура платформы позволяет легко интегрировать новые алгоритмы, собственные пространства наблюдений и структуры вознаграждений. Используя возможности автолевализации и аппаратного ускорения JAX, Mava обеспечивает эффективные крупномасштабные эксперименты и воспроизводимое сравнение в различных сценариях многопользовательской работы.

Multi-Agent Miners предоставляет среду мира в виде сетки, где несколько автономных минёров происходят навигацию, копают и собирают ресурсы, взаимодействуя друг с другом. Поддерживаются настраиваемые размеры карт, количество агентов и схемы награждения, что позволяет создавать как соревновательные, так и кооперативные сценарии. Интеграция с популярными библиотеками RL через PettingZoo обеспечивает стандартизированные API для функций сброса, шага и отображения. Режимы визуализации и журналирование помогают анализировать поведение и результаты, делая этот инструмент идеальным для исследований, обучения и бенчмаркинга алгоритмов в области мультиагентного обучения с усилением.

Этот проект с открытым исходным кодом представляет собой полный фреймворк обучения с подкреплением для нескольких агентов на базе PyTorch и Unity ML-Agents. Включает децентрализованные алгоритмы DDPG, обертки окружения и тренировочные скрипты. Пользователи могут настраивать политики агентов, критические сети, буферы повторных данных и параллельных рабочих. Встроены хуки для логирования и мониторинга с помощью TensorBoard, а модульная структура позволяет легко внедрять пользовательские функции награды и параметры окружения. В репозитории есть примерные сцены Unity с демонстрациями задач совместной навигации, что делает его идеально подходящим для расширения и бенчмаркинга сценариев с множеством агентов в симуляциях.

multiagent-env — это открытая библиотека на Python, предназначенная для упрощения создания и оценки сред обучения с несколькими агентами. Пользователи могут определять как кооперативные, так и враждебные сценарии, задавая количество агентов, пространства действий и наблюдений, функции наград и динамику окружающей среды. Она поддерживает визуализацию в реальном времени, настраиваемую визуализацию и легкую интеграцию с RL-фреймворками на базе Python, такими как Stable Baselines и RLlib. Модульный дизайн позволяет быстро прототипировать новые сценарии и легко сравнивать алгоритмы.

multiagent_envs — это модульный набор сред на Python, предназначенных для исследований и разработки в области обучения с подкреплением с несколькими агентами. Включает сценарии, такие как кооперативная навигация, хищник-жертва, социальные дилеммы и соревновательные арены. Каждая среда позволяет задавать число агентов, характеристики наблюдений, функции вознаграждения и динамику столкновений. Фреймворк легко интегрируется с популярными RL-библиотеками как Stable Baselines и RLlib, поддерживая векторизированное обучение, параллельное выполнение и легкое логирование. Пользователи могут расширять существующие сценарии или создавать новые с помощью простой API, ускоряя экспериментирование с алгоритмами MADDPG, QMIX, PPO в воспроизводимых условиях.

Масштабируемый MADDPG — это исследовательская рамка для многопрограммного обучения с усилением, обеспечивающая масштабируемую реализацию алгоритма MADDPG. В ней используются центральные критики в процессе обучения и независимые актеры при выполнении для стабильности и эффективности. Библиотека включает Python-скрипты для определения пользовательских окружений, настройки архитектур сетей и гиперпараметров. Пользователи могут обучать множество агентов параллельно, отслеживать метрики и визуализировать кривые обучения. Он интегрируется с окружениями, похожими на OpenAI Gym, и поддерживает ускорение с помощью GPU через TensorFlow. Благодаря модульной структуре, масштабируемый MADDPG обеспечивает гибкие эксперименты в кооперативных, соревновательных или смешанных задачах, облегчая быстрое прототипирование и бенчмаркинг.

AutoDRIVE Cooperative MARL — это открытая платформа для обучения и развертывания совместных политик обучения с подкреплением для автономных заданий. Она интегрируется с реалистичными симуляторами для моделирования дорожных сценариев, таких как перекрестки, автопоезда на шоссе и сценарии слияния. В рамках реализовано централизованное обучение с децентрализованным выполнением, что позволяет транспортным средствам обучаться объединённым политикам для повышения эффективности и безопасности дорожного движения. Пользователи могут настраивать параметры среды, выбирать алгоритмы MARL, визуализировать прогресс обучения и оценивать координацию агентов.

DeepMind MAS Environment — это библиотека на Python, предоставляющая стандартизированный интерфейс для построения и моделирования задач обучения с множеством агентов. Позволяет настраивать число агентов, определять пространства наблюдений и действий, а также кастомизировать структуры наград. Фреймворк поддерживает каналы коммуникации между агентами, ведение логов производительности и функции отображения. Исследователи могут легко интегрировать DeepMind MAS Environment с популярными библиотеками RL, такими как TensorFlow и PyTorch, для бенчмаркинга новых алгоритмов, тестирования протоколов связи и анализа дискретных и непрерывных управляемых систем.

DEf-MARL (Фреймворк децентрализенного исполнения для многопользовательского обучения с подкреплением) обеспечивает надежную инфраструктуру для выполнения и обучения кооперативных агентов без централизованных контроллеров. Он использует протоколы связи peer-to-peer для обмена политиками и наблюдениями между агентами, обеспечивая координацию через локальные взаимодействия. Фреймворк бесшовно интегрируется с такими популярными инструментами RL, как PyTorch и TensorFlow, предлагая настраиваемые оболочки окружения, сборку распределенных запусков и модули синхронизации градиентов. Пользователи могут определять индивидуальные пространства наблюдения, функции награды и топологии связи. DEf-MARL поддерживает динамическое добавление и удаление агентов во время выполнения, отказоустойчивое выполнение за счет репликации критического состояния между узлами и адаптивное расписание связи для балансировки исследования и эксплуатации. Он ускоряет обучение за счет параллельного моделирования окружений и уменьшения центральных узких мест, что делает его подходящим для масштабных исследований MARL и промышленных симуляций.

MADDPG-Keras обеспечивает полный каркас для исследований в области обучения с подкреплением с несколькими агентами, реализуя алгоритм MADDPG в Keras. Поддерживаются непрерывные пространства действий, несколько агентов и стандартные среды OpenAI Gym. Исследователи и разработчики могут настраивать архитектуры нейронных сетей, гиперпараметры обучения и функции вознаграждения, после чего запускать эксперименты с встроенным логированием и контрольными точками для ускорения обучения политик и оценки производительности.

Mean-Field MARL предоставляет надежный фреймворк на Python для реализации и оценки алгоритмов обучения с подкреплением для нескольких агентов с помощью среднего поля. Он моделирует взаимодействия больших агентов, аппроксимируя средний эффект соседних агентов через Q-обучение с использованием среднего поля. В библиотеку входят обертки сред, модули политик агентов, циклы обучения и метрики оценки, что позволяет масштабировать обучение сотен агентов. Созданный на базе PyTorch для ускорения на GPU, он поддерживает настраиваемые среды, такие как Particle World и Gridworld. Модульный дизайн облегчает расширение новыми алгоритмами, а встроенные инструменты логирования и визуализации на базе Matplotlib позволяют отслеживать награды, кривые потерь и распределения среднего поля. Примерные скрипты и документация помогают пользователям настроить, конфигурировать эксперименты и анализировать результаты, делая его идеальным как для исследований, так и для прототипирования больших систем агентов.

Selective Reincarnation вводит динамический механизм обучения на основе популяции, ориентированный на MARL. Производительность каждого агента регулярно оценивается по заранее заданным порогам. Когда производительность агента падает ниже уровня его коллег, его веса сбрасываются к текущему лучшему агенту, эффективно воскрешая его с подтвержденными поведениями. Этот подход сохраняет разнообразие, сбрасывая только тех, кто показывает слабые результаты, минимизируя разрушительные сбросы и направляя исследование к политикам с высоким вознаграждением. Благодаря целенаправленной наследуемости параметров нейронной сети, платформа снижает дисперсию и ускоряет сходимость как в кооперативных, так и в конкурентных средах. Совместима с любыми алгоритмами MARL на основе градиента политики, реализована в PyTorch и включает настраиваемые гиперпараметры для частоты оценки, критериев выбора и настройки стратегии сброса.

Patrolling-Zoo предлагает гибкую структуру, позволяющую пользователям создавать и экспериментировать с задачами многогерового патрулирования на Python. Библиотека включает разнообразные окружения на основе сеток и графов, моделирующие сценарии наблюдения, мониторинга и охвата. Пользователи могут конфигурировать количество агентов, размер карты, топологию, функции наград и наблюдаемые пространства. Благодаря совместимости с PettingZoo и API Gym, она обеспечивает беспрепятственную интеграцию с популярными алгоритмами RL. Эта среда облегчает бенчмаркинг и сравнение MARL-техник в условиях единых настроек. Предоставляя стандартные сценарии и инструменты для настройки новых, Patrolling-Zoo ускоряет исследования в автономной робототехнике, безопасности, поисково-спасательных операциях и эффективном покрытии территории с помощью стратегий многогерового координирования.