WorFBench — это комплексный open-source-фреймворк, предназначенный для оценки возможностей агентов ИИ, построенных на больших языковых моделях. Он предлагает широкий спектр задач — от планирования маршрутов до рабочих процессов генерации кода, — каждая с четко определенными целями и метриками оценки. Пользователи могут настраивать стратегии агентов, интегрировать внешние инструменты через стандартизированные API и запускать автоматические оценки, записывая показатели по разложению задач, глубине планирования, точности вызова инструментов и качеству конечного вывода. Встроенные панели визуализации позволяют отслеживать путь принятия решений каждого агента, что облегчает выявление сильных и слабых сторон. Модульная архитектура WorFBench позволяет быстро расширять функциональность новыми задачами или моделями, способствуя воспроизводимости исследований и сравнительным исследованиям.

Возникающая коммуникация в агентах — это открытая платформа на PyTorch, предназначенная для исследователей, изучающих, как многопользовательские системы разрабатывают собственные протоколы связи. Библиотека предлагает гибкие реализации совместных задач обучения с подкреплением, включая референциальные игры, комбинированные игры и задачи идентификации объектов. Пользователи определяют архитектуры говорящих и слушающих агентов, задают свойства каналов сообщений, такие как размер словаря и длина последовательности, и выбирают стратегии обучения, такие как градиенты политики или контролируемое обучение. В рамках представлены скрипты для запуска экспериментов, анализа эффективности коммуникации и визуализации возникающих языков. Модульная конструкция обеспечивает лёгкое расширение новыми игровыми средами или пользовательскими функциями потерь. Исследователи могут воспроизводить опубликованные исследования, создавать эталонные модели новых алгоритмов и исследовать композиционность и семантику языков агентов.