MAPF_G2RL — это открытая исследовательская среда, соединяющая теорию графов и глубокое усиленное обучение для решения задачи поиска путей с несколькими агентами (MAPF). Она кодирует узлы и ребра в векторные представления, определяет пространственные и коллизионно-осведомленные функции награды, поддерживает различные алгоритмы RL, такие как DQN, PPO и A2C. Фреймворк автоматизирует создание сценариев, генерируя случайные графы или импортируя карты реального мира, а также управляет циклами обучения, оптимизирующими политики для нескольких агентов одновременно. После обучения агенты оцениваются в симуляционных средах по показателям оптимальности маршрутов, времени выполнения и уровню успеха. Его модульный дизайн позволяет исследователям расширять ключевые компоненты, интегрировать новые методы MARL и проводить сравнение с классическими решателями.

Mava — это библиотека с открытым исходным кодом, основанная на JAX, для разработки, обучения и оценки систем обучения с подкреплением с несколькими агентами. Предлагает готовые реализации кооперативных и соревновательных алгоритмов, таких как MAPPO и MADDPG, а также настраиваемые циклы обучения, поддерживающие однопроходные и распределенные рабочие процессы. Исследователи могут импортировать окружения из PettingZoo или определять собственные окружения и использовать модульные компоненты Mava для оптимизации политики, управления буферами повторного воспроизведения и логирования метрик. Гибкая архитектура платформы позволяет легко интегрировать новые алгоритмы, собственные пространства наблюдений и структуры вознаграждений. Используя возможности автолевализации и аппаратного ускорения JAX, Mava обеспечивает эффективные крупномасштабные эксперименты и воспроизводимое сравнение в различных сценариях многопользовательской работы.

MAGAIL реализует расширение генеративного противоборствующего имитационного обучения для мультиагентов, позволяя группам агентов обучаться скоординированному поведению, основываясь на демонстрациях экспертов. Построенный на Python с поддержкой PyTorch (или вариантов TensorFlow), MAGAIL состоит из модулей политики (генератора) и дискриминатора, обучающихся в противоборственном цикле. Агенты генерируют траектории в средах, таких как OpenAI Multi-Agent Particle Environment или PettingZoo, которые дискриминатор использует для оценки подлинности по сравнению с данными экспертов. Через итеративные обновления сети политики сходятся к стратегиям, похожим на стратегии экспертов, без явных функций награды. Модульная архитектура MAGAIL позволяет настраивать архитектуры сетей, загрузку данных экспертов, интеграцию среды и гиперпараметры обучения. Кроме того, встроенное логирование и визуализация с помощью TensorBoard облегчают мониторинг и анализ прогресса обучения и показателей эффективности мультиагентов.

Jason-RL добавляет слой обучения с подкреплением в многопользовательскую систему Jason, позволяя агентам AgentSpeak BDI изучать политики выбора действий по наградной обратной связи. Реализует алгоритмы Q-обучения и SARSA, поддерживает настройку параметров обучения (скорость обучения, коэффициент дисконтирования, стратегию исследования) и регистрирует метрики тренировки. Определяя функции наград в планах агентов и запуская симуляции, разработчики могут наблюдать за улучшением решений агентов со временем и их адаптацией к меняющимся условиям без ручного кодирования политик.