OperAgents — это инструментарий для разработчиков для создания и оркестрации автономных агентов с использованием больших языковых моделей, таких как GPT. Поддерживается определение пользовательских классов агентов, интеграция внешних инструментов (API, базы данных, выполнение кода) и управление памятью для сохранения контекста. Благодаря настраиваемым пайплайнам агенты могут выполнять многошаговые задачи, такие как поиск, краткое содержание и поддержка решений, вызывая инструменты динамически и поддерживая состояние. В комплект входит модули для мониторинга эффективности агентов, автоматического исправления ошибок и масштабирования выполнения. За счет абстракции взаимодействий с LLM и управления инструментами, OperAgents ускоряет разработку рабочих процессов на базе ИИ в сферах автоматизации обслуживания клиентов, анализа данных и генерации контента.

OSU NLP Middleware — легкая рамочная система на Python, которая упрощает разработку систем ИИ-агентов. Она предоставляет главный цикл, который управляет взаимодействием между моделями естественного языка и внешними функциями инструментов, определенными как плагины. Фреймворк поддерживает популярных поставщиков LLM (OpenAI, Hugging Face и др.) и позволяет регистрировать пользовательские инструменты для задач, таких как запросы к базам данных, поиск документов, веб-сканирование, математические вычисления и REST API вызовы. Middleware управляет историей разговоров, ограничениями скорости и регистрирует все взаимодействия. Также он предлагает настраиваемое кеширование и политику повторных попыток для повышения надежности, легко создавая интеллектуальных помощников, чат-ботов и автономные рабочие процессы с минимальным количеством шаблонного кода.