rag-services est une plateforme extensible qui décompose les pipelines RAG en microservices discrets. Elle offre un service de stockage de documents, un service d'indexation vectorielle, un service d'embedding, plusieurs services d'inférence LLM et un orchestrateur pour coordonner les flux de travail. Chaque composant expose des API REST, vous permettant de mélanger et d'associer bases de données et fournisseurs de modèles. Avec la prise en charge de Docker et Docker Compose, vous pouvez déployer localement ou dans des clusters Kubernetes. Le cadre permet des solutions RAG évolutives et tolérantes aux pannes pour chatbots, bases de connaissances et Q&A automatiques.

SmartRAG est une bibliothèque Python modulaire conçue pour les workflows de génération augmentée par récupération (RAG) avec de grands modèles de langage. Elle combine l'ingestion de documents, l'indexation vectorielle et des API LLM de pointe pour fournir des réponses précises et riches en contexte. Les utilisateurs peuvent importer des PDFs, des fichiers texte ou des pages web, les indexer en utilisant des magasins vectoriels populaires comme FAISS ou Chroma, et définir des modèles de prompts personnalisés. SmartRAG orchestre la récupération, la composition des prompts et l'inférence LLM, renvoyant des réponses cohérentes basées sur les documents sources. En abstraisant la complexité des pipelines RAG, il accélère le développement de systèmes de questions-réponses, de chatbots et d'assistants de recherche. Les développeurs peuvent étendre les connecteurs, échanger les fournisseurs LLM et affiner les stratégies de récupération pour s'adapter à des domaines de connaissance spécifiques.