Nestor는 대화 상태를 유지하고 외부 도구를 호출하며 처리 파이프라인을 사용자 정의할 수 있는 모듈형 아키텍처를 제공합니다. 주요 기능에는 세션 기반 메모리 저장소, 도구 기능 또는 플러그인 등록을 위한 레지스트리, 유연한 프롬프트 템플릿 및 통합 LLM 클라이언트 인터페이스가 포함됩니다. 에이전트는 순차적 작업을 수행하거나 결정 분기를 하고 REST API 또는 로컬 스크립트와 통합할 수 있습니다. Nestor는 프레임워크에 구애받지 않으며, OpenAI, Azure 또는 자체 호스팅 LLM 제공자를 사용할 수 있습니다.

ChainLite는 재사용 가능하게 설계된 체인 모듈로 LLM 오케스트레이션의 복잡성을 추상화하여 AI 에이전트 제작을 간소화합니다. 간단한 Python 데코레이터와 구성 파일을 사용하여 개발자는 에이전트의 행동, 도구 인터페이스 및 메모리 구조를 정의합니다. 이 프레임워크는 OpenAI, Cohere, Hugging Face와 같은 인기 LLM 공급자와 외부 데이터 소스(API, 데이터베이스)와 통합되어 에이전트가 실시간 정보를 가져올 수 있도록 지원합니다. Streamlit이 구동하는 브라우저 기반 UI를 통해 사용자는 토큰 수준의 대화 기록 검사, 프롬프트 디버그, 체인 실행 그래프 시각화가 가능합니다. ChainLite는 로컬 개발부터 프로덕션 컨테이너까지 여러 배포 대상 지원으로 데이터 과학자, 엔지니어, 제품팀 간 원활한 협업을 가능하게 합니다.

Rags는 검색 증강 생성 애플리케이션을 구축하기 위한 모듈형 파이프라인을 제공합니다. FAISS, Pinecone 등 인기 벡터 저장소와 통합하며, 설정 가능한 프롬프트 템플릿과 대화 맥락 유지를 위한 메모리 모듈을 갖추고 있습니다. 개발자는 Llama-2, GPT-4, Claude2 같은 LLM 제공자를 통합 API를 통해 선택적으로 전환할 수 있습니다. Rags는 스트리밍 응답, 사용자 지정 전처리, 평가 훅을 지원하며, 확장 가능한 설계 덕분에 프로덕션 서비스에 원활히 통합 가능하며, 자동 문서 수집, 의미 검색, 대규모 텍스트 생성 작업에 적합합니다.

Cognita는 문서를 수집하고 인덱싱하는 모듈형 아키텍처를 제공하며, OpenAI, TrueFoundry 또는 타사 임베딩을 선택하고 YAML 또는 Python DSL을 통해 검색 파이프라인을 구성할 수 있습니다. 통합된 프론트엔드 UI를 통해 쿼리를 테스트하고, 검색 매개변수를 조정하며, 벡터 유사도를 시각화할 수 있습니다. 검증이 완료되면, Cognita는 Kubernetes와 서버리스 환경에 배포할 수 있는 템플릿을 제공하여, 지식 기반 AI 어시스턴트를 확장하고 가시성과 보안을 갖추어 프로덕션에서 운영할 수 있도록 지원합니다.