Платформа Foundry AI предлагает рамки детерминированной веб-симуляции и аннотации, позволяя пользователям собирать высококачественные метки, эффективно проводить бенчмаркинг браузерных агентов и отлаживать проблемы производительности. Она обеспечивает воспроизводимость тестирования и масштабируемую оценку без проблем веб-дрифта, блокировок IP и ограничений по скорости. Построенная экспертами отрасли, платформа улучшает оценку агентов, непрерывное улучшение и отладку производительности в контролируемой среде.

Open Agent Leaderboard предлагает полный конвейер оценки для open-source AI-агентов. В него входит тщательно подобранный набор задач, охватывающих рассуждение, планирование, вопросы и ответы и использование инструментов, автоматический запуск агентов в изолированных средах и скрипты для сбора метрик эффективности, таких как коэффициент успеха, время выполнения и потребление ресурсов. Результаты агрегируются и отображаются на веб-таблице лидеров с фильтрами, графиками и историческими сравнениями. Фреймворк поддерживает Docker для воспроизводимости, интеграционные шаблоны для популярных архитектур агентов и расширяемые конфигурации для легко добавляемых новых задач или метрик.

Среда Beer Game обеспечивает дискретное моделирование цепочки поставок пива из четырёх этапов — розничного продавца, оптовика, дистрибьютора и производителя — с интерфейсом OpenAI Gym. Агентам предоставляются наблюдения, такие как наличие запасов, запас в pipeline и входящие заказы, после чего они выводят количество заказов. Среда рассчитывает издержки на хранение запасов и обратных заказов за каждый шаг и поддерживает настраиваемые распределения спроса и сроки выполнения. Она беспрепятственно интегрируется с популярными библиотеками RL, такими как Stable Baselines3, позволяя исследователям и педагогам тестировать и обучать алгоритмы для задач оптимизации цепочките поставок.

Coval помогает компаниям моделировать тысячи сценариев на основе нескольких тестовых случаев, позволяя им всесторонне тестировать своих голосовых и чат-агентов. Созданный экспертами в области автоматизированного тестирования, Coval предлагает такие функции, как настраиваемые голосовые симуляции, встроенные метрики для оценки и отслеживание производительности. Это решение предназначено для разработчиков и компаний, рассчитывающих быстрее развертывать надежные ИИ-агенты.

Dino Reinforcement Learning — это полный набор инструментов для обучения AI-агента играть в игру динозавров Chrome с помощью обучения с подкреплением. Интеграция с безголовым Chrome через Selenium обеспечивает захват игровых кадров в реальном времени и их обработку в представления состояний, оптимизированные для входных данных глубоких Q-сетей. В рамках реализованы модули памяти воспроизведения, эвристического исследования epsilon-greedy, моделей сверточных нейронных сетей и циклов обучения с настраиваемыми гиперпараметрами. Пользователи могут отслеживать прогресс обучения через консольные логи и сохранять контрольные точки для последующей оценки. После обучения агент может быть запущен для автономной игры или протестирован против различных архитектур моделей. Модульный дизайн облегчает замену алгоритмов RL, что делает платформу гибкой для экспериментов.

HMAS — это open-source фреймворк на Python, позволяющий разрабатывать иерархические многоагентные системы. Он предлагает абстракции для определения иерархий агентов, протоколов межагентной связи, интеграции среды и встроенных циклов обучения. Исследователи и разработчики могут использовать HMAS для прототипирования сложных взаимодействий агентов, обучения скоординированных политик и оценки производительности в моделируемых средах. Его модульная архитектура облегчает расширение и настройку агентов, сред и стратегий обучения.

MAPF_G2RL — это открытая исследовательская среда, соединяющая теорию графов и глубокое усиленное обучение для решения задачи поиска путей с несколькими агентами (MAPF). Она кодирует узлы и ребра в векторные представления, определяет пространственные и коллизионно-осведомленные функции награды, поддерживает различные алгоритмы RL, такие как DQN, PPO и A2C. Фреймворк автоматизирует создание сценариев, генерируя случайные графы или импортируя карты реального мира, а также управляет циклами обучения, оптимизирующими политики для нескольких агентов одновременно. После обучения агенты оцениваются в симуляционных средах по показателям оптимальности маршрутов, времени выполнения и уровню успеха. Его модульный дизайн позволяет исследователям расширять ключевые компоненты, интегрировать новые методы MARL и проводить сравнение с классическими решателями.