Acme — это фреймворк на базе Python, упрощающий разработку и оценку агентов обучения с подкреплением. Он включает коллекцию заранее созданных реализаций агентов (например, DQN, PPO, SAC), оболочки для среды, буферы повтора и движки для распределённого выполнения. Исследователи могут комбинировать компоненты для прототипирования новых алгоритмов, контролировать метрики обучения с помощью встроенного логирования и использовать масштабируемые распределённые пайплайны для масштабных экспериментов. Acme интегрируется с TensorFlow и JAX, поддерживает пользовательские среды через интерфейсы OpenAI Gym и включает утилиты для создания контрольных точек, оценки и настройки гиперпараметров.

Autonomais — модульная структура ИИ-агентов, предназначенная для полной автономии в планировании и выполнении задач. Она использует крупные языковые модели для генерации планов, управляет действиями через настраиваемый конвейер и хранит контекст в модулях памяти для согласованного многозначного рассуждения. Разработчики могут подключать внешние инструменты, такие как веб-скрейперы, базы данных и API, определять собственные обработчики действий и настраивать поведение агента с помощью конфигурируемых навыков. Эта платформа поддерживает логирование, обработку ошибок и пошаговую отладку, обеспечивая надежную автоматизацию задач исследований, анализа данных и веб-взаимодействий. Благодаря расширяемой архитектуре на базе плагинов, Autonomais быстро развивает специализированных агентов, способных принимать сложные решения и использовать инструменты динамически.

Шепортинг — это открытая симуляционная платформа, предназначенная для исследований и разработок в области обучения с подкреплением с целью изучения и реализации задач пастушества с несколькими агентами. Она предоставляет среду, совместимую с Gym, в которой агенты могут обучаться выполнять поведение, такое как охватывание, сбор и рассеивание целевых групп в непрерывных или дискретных пространствах. В рамках реализованы модульные функции формировки наград, параметризация среды и утилиты для мониторинга обучения. Пользователи могут задавать препятствия, динамичные популяции агентов и собственные политики с использованием TensorFlow или PyTorch. Скрипты визуализации создают траектории и видео взаимодействия агентов. Модульная структура Шепортинга обеспечивает легкую интеграцию с существующими библиотеками RL, что позволяет воспроизводимые эксперименты, сравнение новых стратегий координации и быстрое создание прототипов решений на базе ИИ.