MARTI (Toolkit и интерфейс для обучения с подкреплением с несколькими агентами) — это исследовательская платформа, которая упрощает разработку, оценку и бенчмаркинг алгоритмов RL с несколькими агентами. Она предлагает plug-and-play архитектуру, в которой пользователи могут настраивать пользовательские среды, политики агентов, структуры вознаграждения и протоколы коммуникации. MARTI интегрируется с популярными библиотеками глубокого обучения, поддерживает ускорение на GPU и распределённое обучение, а также генерирует подробные логи и визуализации для анализа производительности. Модульный дизайн позволяет быстро прототипировать новые подходы и систематически сравнивать их с базовыми линиями, что делает её идеальной для академических исследований и пилотных проектов в автономных системах, робототехнике, игровых ИИ и сценариях кооперативных многоглассных систем.

Проект Многоагентная робототехническая система предлагает модульную платформу на Python для разработки, моделирования и развертывания совместных робототехнических команд. В основе лежит реализация децентрализованных стратегий управления, позволяющих роботам делиться информацией о состоянии и совместно распределять задачи без центрального координатора. В систему встроены модули для планирования маршрутов, избегания столкновений, картирования окружения и динамического планирования задач. Разработчики могут интегрировать новые алгоритмы, расширяя предоставленные интерфейсы, настраивать протоколы связи через файлы конфигурации и визуализировать взаимодействие роботов в моделируемых средах. Совместима с ROS, обеспечивает бесшовный переход от моделирования к реальному оборудованию. Этот каркас ускоряет исследования, предоставляя переиспользуемые компоненты для поведения роевого типа, совместной разведки и автоматизации складов.

NeuralABM — это open-source библиотека на Python, использующая PyTorch для интеграции нейронных сетей в агентное моделирование. Пользователи могут задавать архитектуру агентов в виде нейронных модулей, определять динамику среды и обучать поведение агентов с помощью обратного распространения ошибок на этапах симуляции. Фреймворк поддерживает пользовательские сигналы вознаграждения, обучение по куррикулуму и синхронное или асинхронное обновление, что позволяет исследовать возникающие феномены. В комплект входят утилиты для логирования, визуализации и экспорта наборов данных, что позволяет исследователям и разработчикам анализировать производительность агентов, отлаживать модели и оптимизировать дизайн симуляций. NeuralABM упрощает сочетание обучения с подкреплением и ABM для приложений в области социальных наук, экономики, робототехники и AI-управляемого поведения NPC в играх. Он предоставляет модульные компоненты для настройки среды, поддерживает взаимодействие нескольких агентов и позволяет внедрять внешние датасеты или API для реальных симуляций. Открытая архитектура способствует воспроизводимости и совместной работе благодаря ясной конфигурации экспериментов и интеграции систем контроля версий.

Многопроцессорные модели NKC предоставляют исследователям и разработчикам все необходимые инструменты для проектирования, обучения и оценки систем с несколькими агентами. Они включают модульную архитектуру, позволяющую определять пользовательские политики агентов, динамику окружающей среды и структуры вознаграждения. Точная интеграция с OpenAI Gym позволяет быстро создавать прототипы, а поддержка TensorFlow и PyTorch обеспечивает гибкость выбора платформы обучения. В платформе реализованы утилиты для повторного обхода опыта, централизованного обучения с раздельным выполнением и распределенного обучения на нескольких GPU. Расширенные модули для логирования и визуализации собирают показатели выполнения, способствуя бенчмаркингу и настройке гиперпараметров. Упрощая настройку сценариев с кооперативными, соревновательными и смешанными мотивациями, NKC позволяет ускорить эксперименты в области автономных транспортных средств, робототехнических рой и игровых ИИ.

CASA разработана как модульная, «подключи и работай» платформа автономии, построенная на экосистеме Robot Operating System (ROS). В ней используется децентрализованная архитектура, где каждый робот работает с локальными планировщиками и узлами деревьев поведения, публикуя обновления состояния мира на общем общем табло. Распределение задач осуществляется с помощью аукционных алгоритмов, которые назначают миссии на основе возможностей и доступности роботов. Уровень связи использует стандартные сообщения ROS по многороботным сетям для синхронизации. Разработчики могут настраивать параметры миссий, интегрировать драйверы датчиков и расширять библиотеки поведения. CASA поддерживает моделирование сценариев, мониторинг в реальном времени и инструменты логирования. Его расширяемый дизайн позволяет исследовательским группам экспериментировать с новыми алгоритмами координации и без проблем развертывать на различных платформах, от наземных БПЛА до воздушных дронов.

Patrolling-Zoo предлагает гибкую структуру, позволяющую пользователям создавать и экспериментировать с задачами многогерового патрулирования на Python. Библиотека включает разнообразные окружения на основе сеток и графов, моделирующие сценарии наблюдения, мониторинга и охвата. Пользователи могут конфигурировать количество агентов, размер карты, топологию, функции наград и наблюдаемые пространства. Благодаря совместимости с PettingZoo и API Gym, она обеспечивает беспрепятственную интеграцию с популярными алгоритмами RL. Эта среда облегчает бенчмаркинг и сравнение MARL-техник в условиях единых настроек. Предоставляя стандартные сценарии и инструменты для настройки новых, Patrolling-Zoo ускоряет исследования в автономной робототехнике, безопасности, поисково-спасательных операциях и эффективном покрытии территории с помощью стратегий многогерового координирования.