rag-services는 RAG 파이프라인을 별도 마이크로서비스로 분해하는 확장 가능한 플랫폼입니다. 문서 저장소 서비스, 벡터 인덱스 서비스, 임베더 서비스, 여러 LLM 추론 서비스, 워크플로우를 조정하는 오케스트레이터 서비스를 제공합니다. 각각의 구성 요소는 REST API를 공개하여 데이터베이스와 모델 제공업체를 자유롭게 조합할 수 있습니다. 도커(Docker)와 도커 컴포즈(Docker Compose)를 지원하여 로컬 또는 쿠버네티스 클러스터에 배포 가능합니다. 이 프레임워크는 챗봇, 지식 기반, 자동 문서 Q&A를 위한 확장 가능하며 장애 허용력이 뛰어난 RAG 솔루션을 지원합니다.

Arenas는 LLM 기반 에이전트 개발의 전체 수명 주기를 효율화하도록 설계되었습니다. 개발자는 에이전트 페르소나를 정의하고, 외부 API와 도구를 플러그인으로 통합하며, 유연한 DSL을 사용해 다단계 워크플로우를 구성할 수 있습니다. 이 프레임워크는 대화 기록, 오류 처리, 로깅을 관리하며, 강력한 RAG 파이프라인과 다중 에이전트 협업을 지원합니다. CLI와 REST API를 통해 로컬에서 프로토타입을 제작하고 마이크로서비스 또는 컨테이너화된 애플리케이션으로 배포할 수 있습니다. Arenas는 인기 있는 LLM 제공업체를 지원하며, 모니터링 대시보드와 일반적인 사용 사례에 대한 미리보기 템플릿을 포함합니다. 이 유연한 아키텍처는 보일러플레이트 코드를 줄이고 고객 참여, 연구, 데이터 처리 등 분야의 AI 기반 솔루션의 출시 기간을 단축합니다.