Gym-Recsys — это набор инструментов, который оборачивает задачи рекомендаций в окружения OpenAI Gym, позволяя алгоритмам обучения с подкреплением взаимодействовать с имитированными матрицами пользователь-объект шаг за шагом. Он обеспечивает синтетические генераторы поведения пользователя, поддерживает загрузку популярных наборов данных и поставляет стандартные метрики, такие как Precision@K и NDCG. Пользователи могут настраивать функции награды, модели пользователя и пул объектов для экспериментов с различными стратегиями рекомендаций на основе RL, с возможностью воспроизведения результатов.

GridWorldEnvs предоставляет полный набор окружений сеточного мира для поддержки проектирования, тестирования и сравнения систем обучения с усилением и мультиагентов. Пользователи могут легко настроить размеры сетки, начальные позиции агентов, местоположения целей, препятствия, структуры наград и пространства действий. В комплект входят шаблоны, такие как классическая навигация по сетке, избегание препятствий и кооперативные задачи, а также возможность определения собственных сценариев через JSON или Python-классы. Бесшовная интеграция с API OpenAI Gym позволяет применять стандартные алгоритмы RL напрямую. Кроме того, GridWorldEnvs поддерживает эксперименты с одним или множеством агентов, средства логирования и визуализации для отслеживания эффективности агентов.

gym-fx — это библиотека с открытым исходным кодом на Python, реализующая имитированную среду торговли на Форекс с использованием интерфейса OpenAI Gym. Она поддерживает несколько валютных пар, интегрирует исторические ценовые данные, технические индикаторы и полностью настраиваемые функции награды. Предоставляя стандартизированный API, gym-fx упрощает проведение бенчмаркинга и разработки алгоритмов обучения с подкреплением для алгоритмической торговли. Пользователи могут настраивать проскальзывание на рынке, транзакционные издержки и пространства для наблюдений, чтобы максимально точно моделировать реальные торговые сценарии, что способствует разработке и оценке устойчивых стратегий.

gym-llm расширяет экосистему OpenAI Gym, определяя текстовые среды, в которых агенты LLM взаимодействуют через подсказки и действия. Каждая среда следует соглашениям Gym для шага, сброса и отображения, выдавая наблюдения в виде текста и принимая ответы, сгенерированные моделью, как действия. Разработчики могут создавать собственные задачи, задавая шаблоны подсказок, вычисление награды и условия завершения, что позволяет реализовать сложные тесты на принятие решений и диалоги. Интеграция с популярными библиотеками RL, инструментами логирования и настраиваемыми метриками оценки обеспечивает полноценные эксперименты. Поскольку вы можете оценивать способность LLM решать головоломки, управлять диалогами или справляться с структурированными задачами, gym-llm предоставляет стандартизированный и воспроизводимый фреймворк для исследований и разработки продвинутых языковых агентов.

gym-multigrid предоставляет ряд настраиваемых сред сеточного типа, предназначенных для задач многокомнатной навигации и исследования в установках обучения с подкреплением. Каждая среда состоит из взаимосвязанных комнат, заполненных объектами, ключами, дверьми и препятствиями. Пользователи могут программно менять размер сетки, конфигурации комнат и размещение объектов. Библиотека поддерживает режимы полной или частичной наблюдаемости, предлагая RGB-или матричные представления состояния. Действия включают перемещение, взаимодействие с объектами и управление дверьми. Интегрируя как среду Gym, исследователи могут использовать любой совместимый с Gym агент для обучения и оценки алгоритмов по задачам, таким как головоломки с ключами и дверями, поиск объектов и иерархическое планирование. Модульный дизайн и минимальные зависимости делают gym-multigrid отличным инструментом для тестирования новых интеллектуальных стратегий.

Проект mario-ai предлагает комплексную цепочку для разработки AI-агентов для освоения Super Mario Bros., с помощью нейроэволюции. Интегрируя реализацию NEAT на Python с окружением OpenAI Gym SuperMario, он позволяет пользователям задавать собственные критерии оценки, уровни мутаций и топологии сети. В процессе обучения фреймворк оценивает поколения нейронных сетей, отбирает наиболее эффективные гены и предоставляет визуализацию как игрового процесса, так и эволюции сети в реальном времени. Кроме того, он поддерживает сохранение и загрузку обученных моделей, экспорт лучших геномов и создание детальных журналов производительности. Исследователи, преподаватели и любители могут расширять код для других игровых сред, экспериментировать с эволюционными стратегиями и сравнивать прогресс обучения ИИ на разных уровнях.

Многоагентная среда для дронов — это Python-пакет, предлагающий настраиваемую симуляцию для роев UAV, основанную на OpenAI Gym и PyBullet. Пользователи задают несколько агентов, моделирующих кинематические и динамические характеристики, для выполнения кооперативных задач, таких как ф formation flying , слежение за целью и обход препятствий. Среда поддерживает модульную настройку задач, реалистичное обнаружение столкновений и моделирование сенсоров, а также возможность создавать пользовательские функции награды и децентрализованные политики. Разработчики могут интегрировать собственные алгоритмы обучения с подкреплением, оценивать их эффективность в различных сценариях и визуализировать траектории и показатели работы агентов в реальном времени. Благодаря открытой архитектуре она стимулирует вклад сообщества, что делает её подходящей для исследований, обучения и прототипирования сложных систем управления множеством агентов.

multiagent_envs — это модульный набор сред на Python, предназначенных для исследований и разработки в области обучения с подкреплением с несколькими агентами. Включает сценарии, такие как кооперативная навигация, хищник-жертва, социальные дилеммы и соревновательные арены. Каждая среда позволяет задавать число агентов, характеристики наблюдений, функции вознаграждения и динамику столкновений. Фреймворк легко интегрируется с популярными RL-библиотеками как Stable Baselines и RLlib, поддерживая векторизированное обучение, параллельное выполнение и легкое логирование. Пользователи могут расширять существующие сценарии или создавать новые с помощью простой API, ускоряя экспериментирование с алгоритмами MADDPG, QMIX, PPO в воспроизводимых условиях.

NavGround Learning предоставляет полный набор инструментов для разработки и бенчмаркинга агентов обучения с усилением в задачах навигации. Поддерживаются мультиигровые симуляции, моделирование столкновений, настраиваемые сенсоры и исполнительные устройства. Пользователи могут выбирать из предопределённых шаблонов политик или реализовывать собственные архитектуры, обучаться передовыми RL-алгоритмами и визуализировать показатели производительности. Интеграция с OpenAI Gym и Stable Baselines3 упрощает управление экспериментами, а встроенные инструменты логирования и визуализации позволяют углубленный анализ поведения агентов и динамики обучения.

PyGame Learning Environment (PLE) — это открытый фреймворк на Python, разработанный для упрощения разработки, тестирования и бенчмаркинга агентов обучения с подкреплением в пользовательских игровых сценариях. Он предоставляет коллекцию легких игр на базе Pygame с встроенной поддержкой наблюдений агентом, дискретных и непрерывных пространств действий, формирования наград и визуализации окружения. PLE обладает удобным API, совместимым с обертками OpenAI Gym, что обеспечивает бесшовную интеграцию с популярными RL-библиотеками, такими как Stable Baselines и TensorForce. Исследователи и разработчики могут настраивать параметры игр, реализовывать новые игры и использовать векторизированные окружения для ускоренного обучения. Благодаря активному сообществу и обширной документации, PLE служит универсальной платформой для академических исследований, образования и прототипирования реальных RL-приложений.

MultiAgentModel предоставляет единый API для определения пользовательских окружений и классов агентов для сценариев с множеством агентов. Разработчики могут задавать пространства наблюдения и действий, структуры награды и каналы связи. Встроенная поддержка популярных RL-алгоритмов, таких как PPO, DQN и A2C, позволяет тренировать модели с минимальной настройкой. Инструменты визуализации в реальном времени помогают отслеживать взаимодействия агентов и показатели их эффективности. Модульная архитектура обеспечивает легкую интеграцию новых алгоритмов и пользовательских модулей. Также включает гибкую систему конфигурации для настройки гиперпараметров, утилиты логирования для отслеживания экспериментов и совместимость с OpenAI Gym для бесшовной портативности. Пользователи могут совместно работать над общими окружениями и воспроизводить зафиксированные сессии для анализа.

DeepMind MAS Environment — это библиотека на Python, предоставляющая стандартизированный интерфейс для построения и моделирования задач обучения с множеством агентов. Позволяет настраивать число агентов, определять пространства наблюдений и действий, а также кастомизировать структуры наград. Фреймворк поддерживает каналы коммуникации между агентами, ведение логов производительности и функции отображения. Исследователи могут легко интегрировать DeepMind MAS Environment с популярными библиотеками RL, такими как TensorFlow и PyTorch, для бенчмаркинга новых алгоритмов, тестирования протоколов связи и анализа дискретных и непрерывных управляемых систем.

Многопроцессорные модели NKC предоставляют исследователям и разработчикам все необходимые инструменты для проектирования, обучения и оценки систем с несколькими агентами. Они включают модульную архитектуру, позволяющую определять пользовательские политики агентов, динамику окружающей среды и структуры вознаграждения. Точная интеграция с OpenAI Gym позволяет быстро создавать прототипы, а поддержка TensorFlow и PyTorch обеспечивает гибкость выбора платформы обучения. В платформе реализованы утилиты для повторного обхода опыта, централизованного обучения с раздельным выполнением и распределенного обучения на нескольких GPU. Расширенные модули для логирования и визуализации собирают показатели выполнения, способствуя бенчмаркингу и настройке гиперпараметров. Упрощая настройку сценариев с кооперативными, соревновательными и смешанными мотивациями, NKC позволяет ускорить эксперименты в области автономных транспортных средств, робототехнических рой и игровых ИИ.

Vanilla Agents — это лёгкий фреймворк на базе PyTorch, предоставляющий модульные и расширяемые реализации основных агентов обучения с подкреплением. Он поддерживает алгоритмы DQN, Double DQN, PPO и A2C, с подключаемыми обёртками окружений, совместимыми с OpenAI Gym. Пользователи могут настраивать гиперпараметры, регистрировать метрики обучения, сохранять контрольные точки и визуализировать кривые обучения. Код организован ясно, что делает его идеальным для прототипирования, образовательных целей и бенчмаркинга новых идей в RL.

Фреймворк YGO-Agent позволяет исследователям и энтузиастам создавать ИИ-ботов, которые играют в Yu-Gi-Oh, используя обучение с подкреплением. Он оборачивает симулятор YGOPRO в совместимую с OpenAI Gym среду, определяя состояния, такие как рука, поле и показатели жизни, а также действия, включая призыв, активацию заклинаний/ловушек и атаки. Вознаграждения основаны на исходе победы/проигрыша, нанесённом уроне и ходе игры. Архитектура агента реализована на PyTorch с использованием DQN, с возможностью настройки кастомных сетевых архитектур, повторной обучения опыта и ε-жадной стратегии исследования. Модули логирования регистрируют кривые обучения, коэффициенты выигрыша и подробные логовые записи ходов для анализа. Рамочное решение модульное, что позволяет пользователям заменять или расширять компоненты, такие как функции награды или пространство действий.

GYM_XPLANE_ML оборачивает симулятор полетов X-Plane как среду OpenAI Gym, предоставляя управление газом, рулем высоты, элеронами и рулем направления как пространства действий, а такие параметры полета, как высота, скорость и ориентация, как наблюдения. Пользователи могут писать сценарии обучения на Python, выбирать предопределенные сценарии или настраивать контрольные точки, погодные условия и модели самолетов. Библиотека обеспечивает низколатентную связь с X-Plane, выполнение эпизодов в синхронном режиме, логирование метрик и поддержку рендеринга в реальном времени для отладки. Она способствует итеративной разработке автопилотов на базе ML и экспериментальных алгоритмов RL в фотореалистичной среде полетов.

Среда Beer Game обеспечивает дискретное моделирование цепочки поставок пива из четырёх этапов — розничного продавца, оптовика, дистрибьютора и производителя — с интерфейсом OpenAI Gym. Агентам предоставляются наблюдения, такие как наличие запасов, запас в pipeline и входящие заказы, после чего они выводят количество заказов. Среда рассчитывает издержки на хранение запасов и обратных заказов за каждый шаг и поддерживает настраиваемые распределения спроса и сроки выполнения. Она беспрепятственно интегрируется с популярными библиотеками RL, такими как Stable Baselines3, позволяя исследователям и педагогам тестировать и обучать алгоритмы для задач оптимизации цепочките поставок.

Fast Reinforcement Learning — это специализированная Python-обёртка, предназначенная для ускорения разработки и выполнения агентов обучения с усилением. Она обеспечивает поддержку популярных алгоритмов, таких как PPO, A2C, DDPG и SAC, в сочетании с управлением высокопроизводительными векторизированными средами. Пользователи могут легко настраивать сеть политик, изменять учебные циклы и использовать GPU-ускорение для масштабных экспериментов. Модульная архитектура гарантирует бесшовную интеграцию с окружениями OpenAI Gym, что позволяет исследователям и практикам прототипировать, создавать бенчмарки и развёртывать агентов в различных задачах управления, игр и симуляций.

Deep Trading Agent предоставляет полный поток для алгоритмической торговли: сбор данных, моделирование среды, совместимую с OpenAI Gym, обучение моделей глубокого RL (например, DQN, PPO, A2C), визуализацию производительности, тестирование на исторических данных и запуск в реальном времени через API брокеров. Пользователи могут настраивать метрики награды, подбирать гиперпараметры и мониторить работу агента в реальном времени. Модульная архитектура поддерживает рынки акций, форекс и криптовалюты и позволяет легко расширяться на новые классы активов.