Fast Reinforcement Learning — это специализированная Python-обёртка, предназначенная для ускорения разработки и выполнения агентов обучения с усилением. Она обеспечивает поддержку популярных алгоритмов, таких как PPO, A2C, DDPG и SAC, в сочетании с управлением высокопроизводительными векторизированными средами. Пользователи могут легко настраивать сеть политик, изменять учебные циклы и использовать GPU-ускорение для масштабных экспериментов. Модульная архитектура гарантирует бесшовную интеграцию с окружениями OpenAI Gym, что позволяет исследователям и практикам прототипировать, создавать бенчмарки и развёртывать агентов в различных задачах управления, игр и симуляций.

MARO (Multi-Agent Resource Optimization) — это фреймворк на Python, предназначенный для поддержки разработки и оценки агентов обучения с подкреплением с несколькими агентами в сценариях цепей поставок, логистики и управления ресурсами. Включает шаблоны для управления запасами, планирования грузовиков, кросс-докинга, аренды контейнеров и прочего. MARO предлагает унифицированный API агентов, встроенные трекеры для ведения экспериментов, возможности параллельного моделирования для масштабных тренировок и инструменты визуализации для анализа эффективности. Платформа модульная, расширяемая, интегрируется с популярными RL-библиотеками, обеспечивая воспроизводимость исследований и быструю прототипирование решений на базе ИИ.

MineLand предоставляет гибкую 3D-среду, вдохновленную Minecraft, для обучения агентов с усилением. Она имеет API, совместимый с Gym, для бесшовной интеграции с существующими библиотеками RL, такими как Stable Baselines, RLlib и пользовательские реализации. Пользователи имеют доступ к библиотеке задач, включая сбор ресурсов, навигацию и строительные вызовы, каждая с настраиваемой сложностью и структурой наград. В режиме реального времени, мультиагентские сценарии и безграфические режимы позволяют масштабируемое обучение и бенчмаркинг. Разработчики могут проектировать новые карты, определять пользовательские функции награды и добавлять дополнительные датчики или контроллеры. Открытый исходный код MineLand способствует воспроизводимости исследований, совместной разработке и быстрому прототипированию AI-агентов в сложных виртуальных мирах.

В основе RxAgent-Zoo лежит реактивная RL-структура, которая рассматривает события данных из окружающей среды, буферы повторного воспроизведения и циклы обучения как наблюдаемые потоки. Пользователи могут цепочками операторов предобрабатывать наблюдения, обновлять сети и асинхронно регистрировать метрики. Библиотека поддерживает параллельную работу с окружающими средами, настраиваемые планировщики и интеграцию с популярными бенчмарками Gym и Atari. API "подключи и используй" позволяет бесшовно заменять компоненты агента, что способствует воспроизводимости, быстрому экспериментированию и масштабируемым рабочим потокам обучения.

Масштабируемый MADDPG — это исследовательская рамка для многопрограммного обучения с усилением, обеспечивающая масштабируемую реализацию алгоритма MADDPG. В ней используются центральные критики в процессе обучения и независимые актеры при выполнении для стабильности и эффективности. Библиотека включает Python-скрипты для определения пользовательских окружений, настройки архитектур сетей и гиперпараметров. Пользователи могут обучать множество агентов параллельно, отслеживать метрики и визуализировать кривые обучения. Он интегрируется с окружениями, похожими на OpenAI Gym, и поддерживает ускорение с помощью GPU через TensorFlow. Благодаря модульной структуре, масштабируемый MADDPG обеспечивает гибкие эксперименты в кооперативных, соревновательных или смешанных задачах, облегчая быстрое прототипирование и бенчмаркинг.

VMAS — полный набор инструментов для построения и обучения мультиагентных систем с помощью глубокого обучения с подкреплением. Он обеспечивает параллельное моделирование сотен экземпляров окружений на GPU, что позволяет собирать данные с высокой пропускной способностью и масштабировать обучение. VMAS включает реализации популярных алгоритмов MARL, таких как PPO, MADDPG, QMIX и COMA, и предлагает модульные интерфейсы для быстрой прототипизации политики и среды. Фреймворк позволяет организовать централизованное обучение с децентрализованным исполнением (CTDE), поддерживаемые настраиваемые наградные функции, пространства наблюдения и хуки обратных вызовов для ведения журналов и визуализации. Благодаря модульной архитектуре VMAS легко интегрируется с моделями PyTorch и внешними средами, что делает его идеальным для исследований в задачах сотрудничества, соревнований и смешанных мотиваций в робототехнике, управлении трафиком, распределении ресурсов и сценариях игровой AI.

Cleora - мощный инструмент машинного обучения, предназначенный для генерации первоклассных графовых встраиваний, что позволяет эффективно и масштабируемо обучать стабильные и индуктивные встраивания сущностей для гетерогенных реляционных данных. Идеально подходит для больших наборов данных, Cleora облегчает встраивание пользователей, продуктов и многих других, что помогает в улучшении анализа данных и принятия решений. Известная своей скоростью и простотой в производстве, Cleora нацелена на специалистов в области данных и аналитические команды, которым необходимо обрабатывать большие объемы данных без требования к высокопроизводительному оборудованию.