RoboCup Rescue Agent Simulation — это рамочная платформа с открытым исходным кодом, моделирующая городские катастрофические ситуации, где несколько управляемых ИИ агентов сотрудничают для поиска и спасения жертв. Она предоставляет интерфейсы для навигации, картографии, связи и интеграции сенсоров. Пользователи могут писать собственные стратегии агентов, запускать пакетные эксперименты и визуализировать показатели эффективности агентов. Платформа поддерживает настройку сценариев, ведение логов и анализ результатов, что ускоряет исследования в области мультиагентных систем и алгоритмов реагирования на бедствия.
WorFBench — это open-source-фреймворк для оценки ИИ-агентов на базе больших языковых моделей в задачах разложения, планирования и оркестрации нескольких инструментов.
WorFBench — это комплексный open-source-фреймворк, предназначенный для оценки возможностей агентов ИИ, построенных на больших языковых моделях. Он предлагает широкий спектр задач — от планирования маршрутов до рабочих процессов генерации кода, — каждая с четко определенными целями и метриками оценки. Пользователи могут настраивать стратегии агентов, интегрировать внешние инструменты через стандартизированные API и запускать автоматические оценки, записывая показатели по разложению задач, глубине планирования, точности вызова инструментов и качеству конечного вывода. Встроенные панели визуализации позволяют отслеживать путь принятия решений каждого агента, что облегчает выявление сильных и слабых сторон. Модульная архитектура WorFBench позволяет быстро расширять функциональность новыми задачами или моделями, способствуя воспроизводимости исследований и сравнительным исследованиям.