rag-services — это расширяемая платформа, разбивающая пайплайны RAG на отдельные микросервисы. Предоставляет сервис хранения документов, сервис индексирования векторов, сервис embedding, несколько сервисов inference LLM и оркестратор для координации рабочих процессов. Каждый компонент предоставляет REST API, позволяющее сочетать базы данных и поставщиков моделей. Поддержка Docker и Docker Compose позволяет развертывать локально или в кластерах Kubernetes. Фреймворк обеспечивает масштабируемые и отказоустойчивые решения RAG для чатботов, баз знаний и автоматизированных вопросов и ответов.

Arenas разработана для оптимизации жизненного цикла разработки агентов, основанных на LLM. Разработчики могут определять персоны агентов, интегрировать внешние API и инструменты в виде плагинов, а также создавать многошаговые рабочие процессы с помощью гибкого DSL. Фреймворк управляет памятью диалогов, обработкой ошибок и логированием, обеспечивая создание устойчивых RAG-пайплайнов и совместную работу нескольких агентов. С помощью интерфейса командной строки и API REST команды могут прототипировать агентов локально и развертывать как микросервисы или приложениями в контейнерах. Arenas поддерживает популярных поставщиков LLM, предлагает панели мониторинга и включает предустановленные шаблоны для распространённых сценариев. Эта гибкая архитектура снижает объем шаблонного кода и ускоряет вывод решений на базе AI в таких областях, как взаимодействие с клиентами, исследования и обработка данных.