EnergeticAI est une bibliothèque Node.js conçue pour simplifier l'intégration de modèles IA open-source. Elle exploite TensorFlow.js optimisé pour les fonctions sans serveur, garantissant des démarrages à froid rapides et des performances efficaces. Avec des modèles pré-entraînés pour des tâches IA courantes telles que l'incorporation et les classificateurs, elle accélère le processus de déploiement, rendant l'intégration de l'IA fluide pour les développeurs. En se concentrant sur l'optimisation sans serveur, elle assure une exécution jusqu'à 67 fois plus rapide, idéale pour une architecture moderne de microservices.

rag-services est une plateforme extensible qui décompose les pipelines RAG en microservices discrets. Elle offre un service de stockage de documents, un service d'indexation vectorielle, un service d'embedding, plusieurs services d'inférence LLM et un orchestrateur pour coordonner les flux de travail. Chaque composant expose des API REST, vous permettant de mélanger et d'associer bases de données et fournisseurs de modèles. Avec la prise en charge de Docker et Docker Compose, vous pouvez déployer localement ou dans des clusters Kubernetes. Le cadre permet des solutions RAG évolutives et tolérantes aux pannes pour chatbots, bases de connaissances et Q&A automatiques.