Le système RAG piloté par LLM est un framework destiné aux développeurs pour la construction de pipelines RAG. Il fournit des modules pour l’intégration de collections de documents, l’indexation via FAISS, Pinecone ou Weaviate, et la récupération de contexte pertinent en temps réel. Le système utilise des wrappers LangChain pour orchestrer les appels LLM, supporte les modèles de prompt, la diffusion de réponses, et les adaptateurs multi-vecteurs. Il simplifie le déploiement de RAG de bout en bout pour des bases de connaissances, avec une personnalisation à chaque étape — de la configuration du modèle d’intégration à la conception du prompt et au post-traitement des résultats.

Le cadre Controllable RAG offre une approche modulaire pour construire des systèmes de génération augmentée par récupération. Il permet de configurer et de chaîner les composants de récupération, les modules de mémoire et les stratégies de génération. Les développeurs peuvent brancher différents LLM, bases de données vectorielles et contrôleurs de politique pour ajuster la façon dont les documents sont récupérés et traités avant la génération. Basé sur Python, il comprend des utilitaires pour l'indexation, les requêtes, le suivi de l'historique de conversation et les flux de contrôle basés sur des actions, ce qui le rend idéal pour les chatbots, les assistants de connaissance et les outils de recherche.