Acme — это фреймворк на базе Python, упрощающий разработку и оценку агентов обучения с подкреплением. Он включает коллекцию заранее созданных реализаций агентов (например, DQN, PPO, SAC), оболочки для среды, буферы повтора и движки для распределённого выполнения. Исследователи могут комбинировать компоненты для прототипирования новых алгоритмов, контролировать метрики обучения с помощью встроенного логирования и использовать масштабируемые распределённые пайплайны для масштабных экспериментов. Acme интегрируется с TensorFlow и JAX, поддерживает пользовательские среды через интерфейсы OpenAI Gym и включает утилиты для создания контрольных точек, оценки и настройки гиперпараметров.

F1Tenth Two-Agent Simulator — это специализированная среда моделирования, созданная на базе ROS и Gazebo, для эмуляции двух автономных транспортных средств в масштабе 1/10, участвующих в гонках или сотрудничающих на пользовательских трассах. Поддерживаются реалистичная физика шин, эмуляция сенсоров, обнаружение столкновений и ведение журналов данных. Пользователи могут подключать собственные алгоритмы планирования и управления, настраивать параметры агентов и запускать сценарии соревнований для оценки эффективности, безопасности и стратегий координации в контролируемых условиях.

HFO_DQN объединяет Python и TensorFlow, чтобы предоставить полный поток для обучения футбольных агентов с помощью Deep Q-Networks. Пользователи могут клонировать репозиторий, установить зависимости, включая симулятор HFO и библиотеки Python, и настроить параметры обучения в YAML-файлах. Этот фреймворк реализует повторный опыт, обновления целевых сетей, ε-жадное исследование и формирование наград, адаптированные для области полуценра. Включает сценарии для обучения агентов, логирование производительности, оценочные матчи и визуализацию результатов. Его модульная структура позволяет интегрировать собственные архитектуры нейронных сетей, альтернативные алгоритмы RL и стратегии координации нескольких агентов. Выходные данные включают обученные модели, метрики производительности и визуализации поведения, способствуя исследованиям в области обучения с подкреплением и многопользовательских систем.

OpenSpiel — это исследовательский фреймворк, обеспечивающий широкий спектр окружений (от простых матричных игр до сложных настольных игр, таких как шахматы, го и покер) и реализующий различные алгоритмы обучения с укреплением и поиска (например, итерацию значений, градиент политики, Монтекарло-дерево поиска). Его модульное ядро на C++ и привязки к Python позволяют пользователям вставлять собственные алгоритмы, определять новые игры и сравнивать эффективность на стандартных бенчмарках. Спроектированный с учетом расширяемости, он поддерживает сценарии с одним и несколькими агентами, позволяя изучать кооперативные и соревновательные ситуации. Исследователи используют OpenSpiel для быстрого прототипирования алгоритмов, проведения масштабных экспериментов и обмена воспроизводимым кодом.

Prediction Market Agent Tooling обеспечивает модульную архитектуру для создания автономных торговых агентов на рынках предсказаний. Предлагает подключение к основным платформам, таким как Augur и Polymarket, библиотеку переиспользуемых шаблонов стратегий, потоки данных в реальном времени, надежный движок бэктестинга и встроенную аналитику. Пользователи могут быстро прототипировать алгоритмы, моделировать исторические условия рынка и запускать живых агентов с помощью инструментов мониторинга, что делает его идеальным для исследователей и количественных трейдеров.