Проект mario-ai предлагает комплексную цепочку для разработки AI-агентов для освоения Super Mario Bros., с помощью нейроэволюции. Интегрируя реализацию NEAT на Python с окружением OpenAI Gym SuperMario, он позволяет пользователям задавать собственные критерии оценки, уровни мутаций и топологии сети. В процессе обучения фреймворк оценивает поколения нейронных сетей, отбирает наиболее эффективные гены и предоставляет визуализацию как игрового процесса, так и эволюции сети в реальном времени. Кроме того, он поддерживает сохранение и загрузку обученных моделей, экспорт лучших геномов и создание детальных журналов производительности. Исследователи, преподаватели и любители могут расширять код для других игровых сред, экспериментировать с эволюционными стратегиями и сравнивать прогресс обучения ИИ на разных уровнях.

multiagent_envs — это модульный набор сред на Python, предназначенных для исследований и разработки в области обучения с подкреплением с несколькими агентами. Включает сценарии, такие как кооперативная навигация, хищник-жертва, социальные дилеммы и соревновательные арены. Каждая среда позволяет задавать число агентов, характеристики наблюдений, функции вознаграждения и динамику столкновений. Фреймворк легко интегрируется с популярными RL-библиотеками как Stable Baselines и RLlib, поддерживая векторизированное обучение, параллельное выполнение и легкое логирование. Пользователи могут расширять существующие сценарии или создавать новые с помощью простой API, ускоряя экспериментирование с алгоритмами MADDPG, QMIX, PPO в воспроизводимых условиях.

MultiAgentModel предоставляет единый API для определения пользовательских окружений и классов агентов для сценариев с множеством агентов. Разработчики могут задавать пространства наблюдения и действий, структуры награды и каналы связи. Встроенная поддержка популярных RL-алгоритмов, таких как PPO, DQN и A2C, позволяет тренировать модели с минимальной настройкой. Инструменты визуализации в реальном времени помогают отслеживать взаимодействия агентов и показатели их эффективности. Модульная архитектура обеспечивает легкую интеграцию новых алгоритмов и пользовательских модулей. Также включает гибкую систему конфигурации для настройки гиперпараметров, утилиты логирования для отслеживания экспериментов и совместимость с OpenAI Gym для бесшовной портативности. Пользователи могут совместно работать над общими окружениями и воспроизводить зафиксированные сессии для анализа.

Vanilla Agents — это лёгкий фреймворк на базе PyTorch, предоставляющий модульные и расширяемые реализации основных агентов обучения с подкреплением. Он поддерживает алгоритмы DQN, Double DQN, PPO и A2C, с подключаемыми обёртками окружений, совместимыми с OpenAI Gym. Пользователи могут настраивать гиперпараметры, регистрировать метрики обучения, сохранять контрольные точки и визуализировать кривые обучения. Код организован ясно, что делает его идеальным для прототипирования, образовательных целей и бенчмаркинга новых идей в RL.

Фреймворк YGO-Agent позволяет исследователям и энтузиастам создавать ИИ-ботов, которые играют в Yu-Gi-Oh, используя обучение с подкреплением. Он оборачивает симулятор YGOPRO в совместимую с OpenAI Gym среду, определяя состояния, такие как рука, поле и показатели жизни, а также действия, включая призыв, активацию заклинаний/ловушек и атаки. Вознаграждения основаны на исходе победы/проигрыша, нанесённом уроне и ходе игры. Архитектура агента реализована на PyTorch с использованием DQN, с возможностью настройки кастомных сетевых архитектур, повторной обучения опыта и ε-жадной стратегии исследования. Модули логирования регистрируют кривые обучения, коэффициенты выигрыша и подробные логовые записи ходов для анализа. Рамочное решение модульное, что позволяет пользователям заменять или расширять компоненты, такие как функции награды или пространство действий.