Cekura, ранее известная как Vocera, предлагает передовые услуги тестирования и оценки для голосовых ИИ-агентов. Разработанная для организаций, использующих взаимодействие с клиентами на основе ИИ, Cekura обеспечивает бесперебойную и эффективную производительность агента. Используя рабочие процессы, персоны и реальные аудиозаписи, Cekura помогает смоделировать бесчисленные сценарии для оценки и настройки голосовых агентов по пользовательским метрикам. Кроме того, она предоставляет действенные аналитические данные, мониторинг в реальном времени и мгновенные уведомления для оптимальной производительности агентов.

Semi Agent предоставляет модульную архитектуру для построения ИИ-агентов, которые могут планировать, выполнять действия и запоминать контекст со временем. Интегрируется с популярными языковыми моделями, поддерживает определения инструментов для расширенной функциональности и ведет разговорную или задачно-ориентированную память. Разработчики могут определять пошаговые планы, подключать внешние API или скрипты в качестве инструментов и использовать встроенное логирование для отладки и оптимизации поведения агентов. Открытая архитектура и основание на Python позволяют легко настраивать, расширять и интегрировать в существующие пайплайны.

WorFBench — это комплексный open-source-фреймворк, предназначенный для оценки возможностей агентов ИИ, построенных на больших языковых моделях. Он предлагает широкий спектр задач — от планирования маршрутов до рабочих процессов генерации кода, — каждая с четко определенными целями и метриками оценки. Пользователи могут настраивать стратегии агентов, интегрировать внешние инструменты через стандартизированные API и запускать автоматические оценки, записывая показатели по разложению задач, глубине планирования, точности вызова инструментов и качеству конечного вывода. Встроенные панели визуализации позволяют отслеживать путь принятия решений каждого агента, что облегчает выявление сильных и слабых сторон. Модульная архитектура WorFBench позволяет быстро расширять функциональность новыми задачами или моделями, способствуя воспроизводимости исследований и сравнительным исследованиям.