rag-services는 RAG 파이프라인을 별도 마이크로서비스로 분해하는 확장 가능한 플랫폼입니다. 문서 저장소 서비스, 벡터 인덱스 서비스, 임베더 서비스, 여러 LLM 추론 서비스, 워크플로우를 조정하는 오케스트레이터 서비스를 제공합니다. 각각의 구성 요소는 REST API를 공개하여 데이터베이스와 모델 제공업체를 자유롭게 조합할 수 있습니다. 도커(Docker)와 도커 컴포즈(Docker Compose)를 지원하여 로컬 또는 쿠버네티스 클러스터에 배포 가능합니다. 이 프레임워크는 챗봇, 지식 기반, 자동 문서 Q&A를 위한 확장 가능하며 장애 허용력이 뛰어난 RAG 솔루션을 지원합니다.

ROSA(로버 시퀀싱 및 자율성)는 NASA의 제트 추진 연구소에서 개발한 우주 로봇 공학용 포괄적 자율성 프레임워크입니다. 모듈형 AI 플래너, 제약 인식 스케줄러, 내장 시뮬레이터를 갖추고 있으며, 이는 로버 작전을 위한 검증된 명령 시퀀스를 생성합니다. 사용자들은 임무 목표, 자원 제약, 안전 규칙을 정의할 수 있으며, ROSA는 최적의 실행 계획을 생성하고 충돌을 감지하며, 예상치 못한 사건에 빠르게 재계획할 수 있도록 지원합니다. 플러그인 아키텍처를 통해 맞춤 센서, 액추에이터, 통신 분석 도구와의 통합이 가능하며, 이는 행성 탐사를 위한 끝단까지의 임무 자율성을 촉진합니다.

SPEAR(Scalable Platform for Edge AI Real-Time)는 에지에서 AI 추론의 전체 수명 주기를 관리하는 데 설계되었습니다. 개발자는 Kafka, MQTT 또는 HTTP 소스에 연결된 커넥터를 통해 센서 데이터, 비디오 또는 로그를 수집하는 스트리밍 파이프라인을 정의할 수 있습니다. SPEAR는 컨테이너화된 모델을 워커 노드에 동적으로 배포하며, 저지연 응답을 위해 클러스터 전체에 부하를 분산합니다. 내장된 모델 버전 관리, 상태 점검, 텔레메트리를 포함하며, Prometheus와 Grafana에 메트릭을 노출합니다. 사용자는 모듈식 플러그인 아키텍처를 통해 사용자 정의 변환이나 알림을 적용할 수 있습니다. 자동 확장과 장애 복구 기능으로, SPEAR는 이기종 환경에서 IoT, 산업 자동화, 스마트 시티, 자율 시스템에 신뢰성 높은 실시간 분석을 제공합니다.

Universal Basic Compute는 다양한 워크플로우에 걸친 AI 에이전트 설계, 훈련 및 배포를 위한 통합 환경을 제공합니다. 사용자는 여러 대형 언어 모델 중에서 선택하고, 컨텍스트 인식용 맞춤형 메모리 저장소를 구성하며, 외부 API와 도구를 통합하여 기능을 확장할 수 있습니다. 이 플랫폼은 오케스트레이션, 장애 허용성, 확장성을 자동으로 처리하며, 실시간 모니터링과 성능 분석을 위한 대시보드도 제공합니다. 인프라 세부 사항을 추상화하여, 백엔드 복잡성 대신 에이전트 로직과 사용자 경험에 집중할 수 있도록 지원합니다.

ToolFuzz는 도구를 사용하는 AI 에이전트용으로 특별히 설계된 종합 퍼즈 테스트 프레임워크를 제공합니다. 무작위 도구 호출 시퀀스, 잘못된 API 입력, 예상치 못한 파라미터 조합을 체계적으로 생성하여 에이전트의 도구 호출 모듈을 스트레스 테스트합니다. 사용자는 모듈형 플러그인 인터페이스를 통해 맞춤형 퍼즈 전략을 정의하고, 타사 도구 또는 API를 통합하며, 특정 실패 모드에 대응할 수 있도록 돌연변이 규칙을 조정할 수 있습니다. 프레임워크는 실행 추적을 수집하고, 각 컴포넌트의 코드 커버리지를 측정하며, 미처리 예외 또는 로직 결함을 하이라이트합니다. 내장된 결과 집계와 보고서를 통해 ToolFuzz는 극단적 사례, 회귀 문제, 보안 취약점의 신속한 파악을 가능하게 하여 AI 기반 워크플로우의 견고성과 신뢰성을 강화합니다.

에이전트 지향 아키텍처(AOA)는 개발자가 지능형 다중 에이전트 시스템을 구축하고 유지하는 데 사용할 수 있는 강력한 프레임워크입니다. 에이전트는 상태, 행동 및 상호 작용 패턴을 캡슐화하며 비동기 메시지 버스를 통해 통신합니다. AOA는 에이전트 등록, 탐색, 매칭 모듈을 포함하여 동적 서비스 구성을 가능하게 합니다. 행동 모델링은 유한 상태 기계, 목표 기반 계획, 이벤트 기반 트리거를 지원합니다. 프레임워크는 생성, 일시 중단, 이동 및 종료와 같은 에이전트 라이프사이클 이벤트를 처리합니다. 내장 모니터링과 로깅은 성능 튜닝과 디버깅을 용이하게 합니다. AOA의 플러그인 가능한 전송 계층은 TCP, HTTP, 맞춤 프로토콜을 지원하여 온프레미스, 클라우드 또는 엣지 배포에 적합하게 만듭니다. 인기 라이브러리와의 통합으로 데이터 처리와 AI 모델 통합이 원활하게 이루어집니다.

Agent Supervisor Demonstrates 저장소는 조정된 워크플로우에서 여러 자율 AI 에이전트를 오케스트레이션하는 방법을 보여줍니다. Python으로 작성된 이 프레임워크는 작업 배포, 에이전트 상태 모니터링, 실패 처리, 응답 집계를 위한 Supervisor 클래스를 정의하고 있습니다. 기본 에이전트 클래스를 확장하거나 다양한 모델 API를 연결하고 일정 정책을 구성할 수 있습니다. 활동을 기록하여 감사, 병렬 실행을 지원하며, 사용자 맞춤화와 대규모 AI 시스템 통합을 위한 모듈식 설계를 제공합니다.

AgentMesh는 개발자가 특정 작업 또는 도메인에 집중하는 AI 에이전트 네트워크를 생성할 수 있는 모듈식 인프라를 제공합니다. 에이전트는 런타임에 동적으로 검색 및 등록되고, 메시지를 비동기적으로 교환하며, 구성 가능한 라우팅 규칙을 따릅니다. 이 프레임워크는 재시도, 폴백, 오류 복구를 처리하여 데이터 처리, 의사결정 지원 또는 대화용 케이스를 위한 다중 에이전트 파이프라인을 가능하게 합니다. 기존 LLM 및 사용자 정의 모델과 간단한 플러그인 인터페이스를 통해 쉽게 통합할 수 있습니다.