Multiagent-Prediction-Reward — это исследовательский каркас, объединяющий предсказательные модели и механизмы распределения наград для многог агентного обучения с усилением. В его состав входят оболочки окружения, нейронные модули для прогнозирования действий сверстников и настраиваемая логика маршрутизации наград, адаптирующаяся к результатам работы агентов. Репозиторий содержит конфигурационные файлы, образцовые скрипты и панели оценки для проведения экспериментов по совместным задачам. Пользователи могут расширять код для тестирования новых функций наград, интеграции новых окружений и сравнения с существующими алгоритмами RL для множественных агентов.

VMAS — полный набор инструментов для построения и обучения мультиагентных систем с помощью глубокого обучения с подкреплением. Он обеспечивает параллельное моделирование сотен экземпляров окружений на GPU, что позволяет собирать данные с высокой пропускной способностью и масштабировать обучение. VMAS включает реализации популярных алгоритмов MARL, таких как PPO, MADDPG, QMIX и COMA, и предлагает модульные интерфейсы для быстрой прототипизации политики и среды. Фреймворк позволяет организовать централизованное обучение с децентрализованным исполнением (CTDE), поддерживаемые настраиваемые наградные функции, пространства наблюдения и хуки обратных вызовов для ведения журналов и визуализации. Благодаря модульной архитектуре VMAS легко интегрируется с моделями PyTorch и внешними средами, что делает его идеальным для исследований в задачах сотрудничества, соревнований и смешанных мотиваций в робототехнике, управлении трафиком, распределении ресурсов и сценариях игровой AI.

Среда совместного поиска обеспечивает гибкую, совместимую с gym многопользовательскую среду обучения с подкреплением, предназначенную для задач совместного поиска как на дискретных сетках, так и в непрерывных пространствах. Агентов можно управлять при частичном наблюдении и обмениваться информацией в соответствии с настраиваемыми топологиями связи. Фреймворк поддерживает предопределенные сценарии, такие как поиск и спасение, отслеживание целей в динамике и совместное картографирование, предлагает API для определения пользовательских сценариев и структур наград. Интегрируется с популярными RL-библиотеками, такими как Stable Baselines3 и Ray RLlib, включает средства журналирования для анализа производительности и встроенные инструменты визуализации для мониторинга в реальном времени. Исследователи могут изменять размеры сеток, число агентов, диапазон сенсоров и механизмы обмена наградами для оценки стратегий координации и эффективной проверки новых алгоритмов.