OSU NLP Middleware — легкая рамочная система на Python, которая упрощает разработку систем ИИ-агентов. Она предоставляет главный цикл, который управляет взаимодействием между моделями естественного языка и внешними функциями инструментов, определенными как плагины. Фреймворк поддерживает популярных поставщиков LLM (OpenAI, Hugging Face и др.) и позволяет регистрировать пользовательские инструменты для задач, таких как запросы к базам данных, поиск документов, веб-сканирование, математические вычисления и REST API вызовы. Middleware управляет историей разговоров, ограничениями скорости и регистрирует все взаимодействия. Также он предлагает настраиваемое кеширование и политику повторных попыток для повышения надежности, легко создавая интеллектуальных помощников, чат-ботов и автономные рабочие процессы с минимальным количеством шаблонного кода.

Pipe Pilot — это инструмент с открытым исходным кодом, позволяющий разработчикам создавать, визуализировать и управлять ИИ-конвейерами на Python. Он предлагает декларативный API или YAML-конфигурацию для связывания задач, таких как генерация текста, классификация, обогащение данных и вызовы REST API. Пользователи могут реализовать условные ветки, циклы, повторы и обработчики ошибок для создания надежных рабочих процессов. Pipe Pilot сохраняет контекст выполнения, регистрирует каждый шаг и поддерживает режимы параллельного или последовательного выполнения. Он интегрируется с основными поставщиками LLM, пользовательскими функциями и сторонними службами, что делает его идеальным для автоматизации отчетов, чат-ботов, интеллектуальной обработки данных и сложных многоступенчатых AI-приложений.