SmartRAG — это модульная библиотека на Python для рабочих процессов расширенного поиска с использованием больших языковых моделей. Она сочетает загрузку документов, индексирование векторов и современные API LLM для предоставления точных и насыщенных контекстом ответов. Пользователи могут импортировать PDF-файлы, текстовые документы или веб-страницы, индексировать их с помощью популярных хранилищ векторов, таких как FAISS или Chroma, и создавать собственные шаблоны запросов. SmartRAG управляет процессами поиска, сборки подсказок и вызовов LLM, возвращая целостные ответы, основанные на исходных документах. Это ускоряет разработку систем Q&A, чат-ботов и исследовательских ассистентов. Разработчики могут расширять коннекторы, менять поставщиков LLM и оптимизировать стратегии поиска в соответствии с конкретными областями знаний.

rag-services — это расширяемая платформа, разбивающая пайплайны RAG на отдельные микросервисы. Предоставляет сервис хранения документов, сервис индексирования векторов, сервис embedding, несколько сервисов inference LLM и оркестратор для координации рабочих процессов. Каждый компонент предоставляет REST API, позволяющее сочетать базы данных и поставщиков моделей. Поддержка Docker и Docker Compose позволяет развертывать локально или в кластерах Kubernetes. Фреймворк обеспечивает масштабируемые и отказоустойчивые решения RAG для чатботов, баз знаний и автоматизированных вопросов и ответов.