MARTI (Toolkit и интерфейс для обучения с подкреплением с несколькими агентами) — это исследовательская платформа, которая упрощает разработку, оценку и бенчмаркинг алгоритмов RL с несколькими агентами. Она предлагает plug-and-play архитектуру, в которой пользователи могут настраивать пользовательские среды, политики агентов, структуры вознаграждения и протоколы коммуникации. MARTI интегрируется с популярными библиотеками глубокого обучения, поддерживает ускорение на GPU и распределённое обучение, а также генерирует подробные логи и визуализации для анализа производительности. Модульный дизайн позволяет быстро прототипировать новые подходы и систематически сравнивать их с базовыми линиями, что делает её идеальной для академических исследований и пилотных проектов в автономных системах, робототехнике, игровых ИИ и сценариях кооперативных многоглассных систем.

Pits and Orbs — это открытая среда для обучения с усилением, реализованная на Python, предлагающая пошаговый многопользовательский мир с клетчатой сеткой, в которой агенты преследуют цели и сталкиваются с опасностями окружающей среды. Каждый агент должен перемещаться по настраиваемой сетке, избегать случайных ловушек, которые штрафуют или завершают эпизоды, и собирать сферы для положительных наград. Среда поддерживает как соревновательные, так и кооперативные режимы, позволяя исследовать различные сценарии обучения. Простая API легко интегрируется с популярными RL-библиотеками, такими как Stable Baselines и RLlib. Основные возможности включают регулируемые размеры сетки, динамическое распределение ловушек и сфер, настраиваемые структуры наград и опциональный логинг для анализа тренировки.

MultiAgentModel предоставляет единый API для определения пользовательских окружений и классов агентов для сценариев с множеством агентов. Разработчики могут задавать пространства наблюдения и действий, структуры награды и каналы связи. Встроенная поддержка популярных RL-алгоритмов, таких как PPO, DQN и A2C, позволяет тренировать модели с минимальной настройкой. Инструменты визуализации в реальном времени помогают отслеживать взаимодействия агентов и показатели их эффективности. Модульная архитектура обеспечивает легкую интеграцию новых алгоритмов и пользовательских модулей. Также включает гибкую систему конфигурации для настройки гиперпараметров, утилиты логирования для отслеживания экспериментов и совместимость с OpenAI Gym для бесшовной портативности. Пользователи могут совместно работать над общими окружениями и воспроизводить зафиксированные сессии для анализа.