EnergeticAI는 오픈 소스 AI 모델의 통합을 단순화하기 위해 설계된 Node.js 라이브러리입니다. 서버리스 함수에 대해 최적화된 TensorFlow.js를 활용하여 빠른 콜드 스타트와 효율적인 성능을 보장합니다. 임베딩 및 분류기와 같은 일반적인 AI 작업을 위한 사전 훈련된 모델을 통해 배포 프로세스를 가속화하고 AI 통합을 개발자에게 원활하게 만듭니다. 서버리스 최적화에 집중함으로써 최대 67배 더 빠른 실행을 보장하여 현대 마이크로서비스 아키텍처에 이상적입니다.

rag-services는 RAG 파이프라인을 별도 마이크로서비스로 분해하는 확장 가능한 플랫폼입니다. 문서 저장소 서비스, 벡터 인덱스 서비스, 임베더 서비스, 여러 LLM 추론 서비스, 워크플로우를 조정하는 오케스트레이터 서비스를 제공합니다. 각각의 구성 요소는 REST API를 공개하여 데이터베이스와 모델 제공업체를 자유롭게 조합할 수 있습니다. 도커(Docker)와 도커 컴포즈(Docker Compose)를 지원하여 로컬 또는 쿠버네티스 클러스터에 배포 가능합니다. 이 프레임워크는 챗봇, 지식 기반, 자동 문서 Q&A를 위한 확장 가능하며 장애 허용력이 뛰어난 RAG 솔루션을 지원합니다.