EnergeticAI - это библиотека Node.js, предназначенная для упрощения интеграции открытых AI моделей. Она использует TensorFlow.js, оптимизированный для безсерверных функций, что обеспечивает быстрые холодные старты и эффективную производительность. С предобученными моделями для общих задач AI, таких как встраивания и классификаторы, она ускоряет процесс развертывания, делая интеграцию AI бесшовной для разработчиков. Сосредоточив внимание на безсерверной оптимизации, она обеспечивает до 67 раз более быстрое выполнение, что идеально подходит для современной архитектуры микросервисов.

rag-services — это расширяемая платформа, разбивающая пайплайны RAG на отдельные микросервисы. Предоставляет сервис хранения документов, сервис индексирования векторов, сервис embedding, несколько сервисов inference LLM и оркестратор для координации рабочих процессов. Каждый компонент предоставляет REST API, позволяющее сочетать базы данных и поставщиков моделей. Поддержка Docker и Docker Compose позволяет развертывать локально или в кластерах Kubernetes. Фреймворк обеспечивает масштабируемые и отказоустойчивые решения RAG для чатботов, баз знаний и автоматизированных вопросов и ответов.