Масштабируемый MADDPG — это исследовательская рамка для многопрограммного обучения с усилением, обеспечивающая масштабируемую реализацию алгоритма MADDPG. В ней используются центральные критики в процессе обучения и независимые актеры при выполнении для стабильности и эффективности. Библиотека включает Python-скрипты для определения пользовательских окружений, настройки архитектур сетей и гиперпараметров. Пользователи могут обучать множество агентов параллельно, отслеживать метрики и визуализировать кривые обучения. Он интегрируется с окружениями, похожими на OpenAI Gym, и поддерживает ускорение с помощью GPU через TensorFlow. Благодаря модульной структуре, масштабируемый MADDPG обеспечивает гибкие эксперименты в кооперативных, соревновательных или смешанных задачах, облегчая быстрое прототипирование и бенчмаркинг.

AutoDRIVE Cooperative MARL — это проект на GitHub, сочетающий симулятор городского вождения AutoDRIVE с адаптируемыми алгоритмами мультиагентного обучения с подкреплением. Включает скрипты обучения, оболочки среды, метрики оценки и инструменты визуализации для разработки и тестирования политик кооперативного вождения. Пользователи могут настраивать наблюдаемые пространства агентов, функции вознаграждения и гиперпараметры обучения. Репозиторий поддерживает модульные расширения, позволяющие определять индивидуальные задачи, использовать обучение по куррикулуму и отслеживать показатели эффективности для исследований по координации автономных транспортных средств.

AutoDRIVE Cooperative MARL — это открытая платформа для обучения и развертывания совместных политик обучения с подкреплением для автономных заданий. Она интегрируется с реалистичными симуляторами для моделирования дорожных сценариев, таких как перекрестки, автопоезда на шоссе и сценарии слияния. В рамках реализовано централизованное обучение с децентрализованным выполнением, что позволяет транспортным средствам обучаться объединённым политикам для повышения эффективности и безопасности дорожного движения. Пользователи могут настраивать параметры среды, выбирать алгоритмы MARL, визуализировать прогресс обучения и оценивать координацию агентов.

DEf-MARL (Фреймворк децентрализенного исполнения для многопользовательского обучения с подкреплением) обеспечивает надежную инфраструктуру для выполнения и обучения кооперативных агентов без централизованных контроллеров. Он использует протоколы связи peer-to-peer для обмена политиками и наблюдениями между агентами, обеспечивая координацию через локальные взаимодействия. Фреймворк бесшовно интегрируется с такими популярными инструментами RL, как PyTorch и TensorFlow, предлагая настраиваемые оболочки окружения, сборку распределенных запусков и модули синхронизации градиентов. Пользователи могут определять индивидуальные пространства наблюдения, функции награды и топологии связи. DEf-MARL поддерживает динамическое добавление и удаление агентов во время выполнения, отказоустойчивое выполнение за счет репликации критического состояния между узлами и адаптивное расписание связи для балансировки исследования и эксплуатации. Он ускоряет обучение за счет параллельного моделирования окружений и уменьшения центральных узких мест, что делает его подходящим для масштабных исследований MARL и промышленных симуляций.

MADDPG-Keras обеспечивает полный каркас для исследований в области обучения с подкреплением с несколькими агентами, реализуя алгоритм MADDPG в Keras. Поддерживаются непрерывные пространства действий, несколько агентов и стандартные среды OpenAI Gym. Исследователи и разработчики могут настраивать архитектуры нейронных сетей, гиперпараметры обучения и функции вознаграждения, после чего запускать эксперименты с встроенным логированием и контрольными точками для ускорения обучения политик и оценки производительности.

Mean-Field MARL предоставляет надежный фреймворк на Python для реализации и оценки алгоритмов обучения с подкреплением для нескольких агентов с помощью среднего поля. Он моделирует взаимодействия больших агентов, аппроксимируя средний эффект соседних агентов через Q-обучение с использованием среднего поля. В библиотеку входят обертки сред, модули политик агентов, циклы обучения и метрики оценки, что позволяет масштабировать обучение сотен агентов. Созданный на базе PyTorch для ускорения на GPU, он поддерживает настраиваемые среды, такие как Particle World и Gridworld. Модульный дизайн облегчает расширение новыми алгоритмами, а встроенные инструменты логирования и визуализации на базе Matplotlib позволяют отслеживать награды, кривые потерь и распределения среднего поля. Примерные скрипты и документация помогают пользователям настроить, конфигурировать эксперименты и анализировать результаты, делая его идеальным как для исследований, так и для прототипирования больших систем агентов.

Selective Reincarnation вводит динамический механизм обучения на основе популяции, ориентированный на MARL. Производительность каждого агента регулярно оценивается по заранее заданным порогам. Когда производительность агента падает ниже уровня его коллег, его веса сбрасываются к текущему лучшему агенту, эффективно воскрешая его с подтвержденными поведениями. Этот подход сохраняет разнообразие, сбрасывая только тех, кто показывает слабые результаты, минимизируя разрушительные сбросы и направляя исследование к политикам с высоким вознаграждением. Благодаря целенаправленной наследуемости параметров нейронной сети, платформа снижает дисперсию и ускоряет сходимость как в кооперативных, так и в конкурентных средах. Совместима с любыми алгоритмами MARL на основе градиента политики, реализована в PyTorch и включает настраиваемые гиперпараметры для частоты оценки, критериев выбора и настройки стратегии сброса.

Patrolling-Zoo предлагает гибкую структуру, позволяющую пользователям создавать и экспериментировать с задачами многогерового патрулирования на Python. Библиотека включает разнообразные окружения на основе сеток и графов, моделирующие сценарии наблюдения, мониторинга и охвата. Пользователи могут конфигурировать количество агентов, размер карты, топологию, функции наград и наблюдаемые пространства. Благодаря совместимости с PettingZoo и API Gym, она обеспечивает беспрепятственную интеграцию с популярными алгоритмами RL. Эта среда облегчает бенчмаркинг и сравнение MARL-техник в условиях единых настроек. Предоставляя стандартные сценарии и инструменты для настройки новых, Patrolling-Zoo ускоряет исследования в автономной робототехнике, безопасности, поисково-спасательных операциях и эффективном покрытии территории с помощью стратегий многогерового координирования.

Среда совместного поиска обеспечивает гибкую, совместимую с gym многопользовательскую среду обучения с подкреплением, предназначенную для задач совместного поиска как на дискретных сетках, так и в непрерывных пространствах. Агентов можно управлять при частичном наблюдении и обмениваться информацией в соответствии с настраиваемыми топологиями связи. Фреймворк поддерживает предопределенные сценарии, такие как поиск и спасение, отслеживание целей в динамике и совместное картографирование, предлагает API для определения пользовательских сценариев и структур наград. Интегрируется с популярными RL-библиотеками, такими как Stable Baselines3 и Ray RLlib, включает средства журналирования для анализа производительности и встроенные инструменты визуализации для мониторинга в реальном времени. Исследователи могут изменять размеры сеток, число агентов, диапазон сенсоров и механизмы обмена наградами для оценки стратегий координации и эффективной проверки новых алгоритмов.

MARL Simulator предназначен для эффективной и масштабируемой разработки алгоритмов мультиагентного обучения с подкреплением (MARL). Используя распределённое ядро PyTorch, он позволяет запускать параллельное обучение на нескольких GPU или узлах, значительно сокращая время экспериментов. Модульный интерфейс окружений поддерживает стандартные сценарии — такие как совместная навигация, охотник-жертва и мир в сетке, — а также пользовательские среды. Агентам доступны различные протоколы коммуникации для координации действий, обмена наблюдениями и синхронизации наград. Настраиваемые пространства наград и наблюдений обеспечивают тонкий контроль за динамикой обучения, а встроенные инструменты логирования и визуализации дают постоянный обзор показателей эффективности.

MARO (Multi-Agent Resource Optimization) — это фреймворк на Python, предназначенный для поддержки разработки и оценки агентов обучения с подкреплением с несколькими агентами в сценариях цепей поставок, логистики и управления ресурсами. Включает шаблоны для управления запасами, планирования грузовиков, кросс-докинга, аренды контейнеров и прочего. MARO предлагает унифицированный API агентов, встроенные трекеры для ведения экспериментов, возможности параллельного моделирования для масштабных тренировок и инструменты визуализации для анализа эффективности. Платформа модульная, расширяемая, интегрируется с популярными RL-библиотеками, обеспечивая воспроизводимость исследований и быструю прототипирование решений на базе ИИ.

Mava — это библиотека с открытым исходным кодом, основанная на JAX, для разработки, обучения и оценки систем обучения с подкреплением с несколькими агентами. Предлагает готовые реализации кооперативных и соревновательных алгоритмов, таких как MAPPO и MADDPG, а также настраиваемые циклы обучения, поддерживающие однопроходные и распределенные рабочие процессы. Исследователи могут импортировать окружения из PettingZoo или определять собственные окружения и использовать модульные компоненты Mava для оптимизации политики, управления буферами повторного воспроизведения и логирования метрик. Гибкая архитектура платформы позволяет легко интегрировать новые алгоритмы, собственные пространства наблюдений и структуры вознаграждений. Используя возможности автолевализации и аппаратного ускорения JAX, Mava обеспечивает эффективные крупномасштабные эксперименты и воспроизводимое сравнение в различных сценариях многопользовательской работы.

MGym — это специальная среда для создания и управления мультиагентными средами обучения с подкреплением (MARL) на Python. Она позволяет пользователям определять сложные сценарии с несколькими агентами, каждый из которых имеет настраиваемые наблюдения, действия, функции вознаграждения и правила взаимодействия. MGym поддерживает синхронный и асинхронный режимы выполнения, предоставляя моделирование агентов как в параллельном, так и в пошаговом режимах. Благодаря API, аналогичному Gym, MGym легко интегрируется с популярными библиотеками RL, такими как Stable Baselines, RLlib и PyTorch. Включает модули для оценки окружающей среды, визуализации результатов и анализа производительности, что способствует системной оценке алгоритмов MARL. Его модульная архитектура позволяет быстро прототипировать совместные, конкурирующие или смешанные задания, что помогает исследователям и разработчикам ускорить эксперименты и исследования в области MARL.

Multi-Agent Miners предоставляет среду мира в виде сетки, где несколько автономных минёров происходят навигацию, копают и собирают ресурсы, взаимодействуя друг с другом. Поддерживаются настраиваемые размеры карт, количество агентов и схемы награждения, что позволяет создавать как соревновательные, так и кооперативные сценарии. Интеграция с популярными библиотеками RL через PettingZoo обеспечивает стандартизированные API для функций сброса, шага и отображения. Режимы визуализации и журналирование помогают анализировать поведение и результаты, делая этот инструмент идеальным для исследований, обучения и бенчмаркинга алгоритмов в области мультиагентного обучения с усилением.

Многопро Agentное обучение с подкреплением от alaamoheb — это комплексная открытая библиотека, предназначенная для облегчения разработки, обучения и оценки нескольких агентов, действующих в общих средах. В ней реализованы модульные алгоритмы, основанные на ценности и политике, такие как DQN, PPO, MADDPG и другие. Репозиторий поддерживает интеграцию с OpenAI Gym, Unity ML-Agents и StarCraft Multi-Agent Challenge, позволяя экспериментировать как в исследовательских, так и в реалистичных сценариях. Благодаря настраиваемым YAML-экспериментальным настройкам, утилитам логирования и инструментам визуализации, специалисты могут отслеживать кривые обучения, подбирать гиперпараметры и сравнивать разные алгоритмы. Этот фреймворк ускоряет эксперименты в кооперативных, соревновательных и смешанных многопро Agentных задачах, облегчая воспроизводимость исследований и бенчмаркинг.

Этот проект с открытым исходным кодом представляет собой полный фреймворк обучения с подкреплением для нескольких агентов на базе PyTorch и Unity ML-Agents. Включает децентрализованные алгоритмы DDPG, обертки окружения и тренировочные скрипты. Пользователи могут настраивать политики агентов, критические сети, буферы повторных данных и параллельных рабочих. Встроены хуки для логирования и мониторинга с помощью TensorBoard, а модульная структура позволяет легко внедрять пользовательские функции награды и параметры окружения. В репозитории есть примерные сцены Unity с демонстрациями задач совместной навигации, что делает его идеально подходящим для расширения и бенчмаркинга сценариев с множеством агентов в симуляциях.

multiagent-env — это открытая библиотека на Python, предназначенная для упрощения создания и оценки сред обучения с несколькими агентами. Пользователи могут определять как кооперативные, так и враждебные сценарии, задавая количество агентов, пространства действий и наблюдений, функции наград и динамику окружающей среды. Она поддерживает визуализацию в реальном времени, настраиваемую визуализацию и легкую интеграцию с RL-фреймворками на базе Python, такими как Stable Baselines и RLlib. Модульный дизайн позволяет быстро прототипировать новые сценарии и легко сравнивать алгоритмы.

Multiagent-Prediction-Reward — это исследовательский каркас, объединяющий предсказательные модели и механизмы распределения наград для многог агентного обучения с усилением. В его состав входят оболочки окружения, нейронные модули для прогнозирования действий сверстников и настраиваемая логика маршрутизации наград, адаптирующаяся к результатам работы агентов. Репозиторий содержит конфигурационные файлы, образцовые скрипты и панели оценки для проведения экспериментов по совместным задачам. Пользователи могут расширять код для тестирования новых функций наград, интеграции новых окружений и сравнения с существующими алгоритмами RL для множественных агентов.

multiagent_envs — это модульный набор сред на Python, предназначенных для исследований и разработки в области обучения с подкреплением с несколькими агентами. Включает сценарии, такие как кооперативная навигация, хищник-жертва, социальные дилеммы и соревновательные арены. Каждая среда позволяет задавать число агентов, характеристики наблюдений, функции вознаграждения и динамику столкновений. Фреймворк легко интегрируется с популярными RL-библиотеками как Stable Baselines и RLlib, поддерживая векторизированное обучение, параллельное выполнение и легкое логирование. Пользователи могут расширять существующие сценарии или создавать новые с помощью простой API, ускоряя экспериментирование с алгоритмами MADDPG, QMIX, PPO в воспроизводимых условиях.