rag-services는 RAG 파이프라인을 별도 마이크로서비스로 분해하는 확장 가능한 플랫폼입니다. 문서 저장소 서비스, 벡터 인덱스 서비스, 임베더 서비스, 여러 LLM 추론 서비스, 워크플로우를 조정하는 오케스트레이터 서비스를 제공합니다. 각각의 구성 요소는 REST API를 공개하여 데이터베이스와 모델 제공업체를 자유롭게 조합할 수 있습니다. 도커(Docker)와 도커 컴포즈(Docker Compose)를 지원하여 로컬 또는 쿠버네티스 클러스터에 배포 가능합니다. 이 프레임워크는 챗봇, 지식 기반, 자동 문서 Q&A를 위한 확장 가능하며 장애 허용력이 뛰어난 RAG 솔루션을 지원합니다.

SmartRAG는 대규모 언어 모델과 함께 사용하는 모듈식 Python 라이브러리입니다. 문서 수집, 벡터 인덱싱, 최신 LLM API를 결합하여 정확하고 맥락이 풍부한 응답을 제공합니다. 사용자는 PDF, 텍스트 파일 또는 웹페이지를 임포트하고, FAISS 또는 Chroma 같은 인기 벡터 저장소를 이용해 인덱싱하며, 맞춤형 프롬프트 템플릿을 정의할 수 있습니다. SmartRAG는 검색, 프롬프트 조합, LLM 추론을 조율하여 출처 문서에 기반한 일관된 답변을 제공합니다. RAG 파이프라인의 복잡성을 추상화하여 지식 기반 Q&A 시스템, 챗봇, 연구 지원 도구 개발을 가속화합니다. 개발자는 커넥터를 확장하거나 LLM 공급자를 바꾸거나 검색 전략을 미세 조정하여 특정 지식 도메인에 맞게 조정할 수 있습니다.