Granite Retrieval Agent는 의미적 검색과 대형 언어 모델을 결합한 검색 강화 생성형 AI 에이전트를 유연하게 구축할 수 있는 플랫폼을 제공합니다. 사용자는 다양한 출처의 문서를 수집하고, 벡터 임베딩을 생성하며, Azure Cognitive Search 인덱스 또는 기타 벡터 저장소를 구성할 수 있습니다. 쿼리가 들어오면, 에이전트는 가장 관련성 높은 구절을 검색하고, 컨텍스트 윈도우를 구성하며, LLM API를 호출하여 정확한 답변 또는 요약을 제공합니다. 메모리 관리, 사고 사슬 오케스트레이션 및 맞춤 플러그인 지원으로 전처리 및 후처리도 수행합니다. Docker 또는 파이썬 직접 배포가 가능하며, 이를 통해 지식 기반 챗봇, 엔터프라이즈 어시스턴트, Q&A 시스템을 빠르게 개발할 수 있으며, 환각 현상을 줄이고 사실 정확성을 향상시킵니다.

AgentRails는 Rails 개발자가 대규모 언어 모델을 활용하여 자연어 이해 및 생성을 담당하는 지능형 에이전트를 구축할 수 있게 합니다. 개발자는 맞춤형 도구와 워크플로우를 정의하고, 요청 간 대화 상태를 유지하며, Rails 컨트롤러와 뷰와 원활하게 통합할 수 있습니다. OpenAI 등 제공자의 API 호출을 추상화하며, 챗봇부터 콘텐츠 생성기까지 AI 기반 기능의 빠른 프로토타이핑을 지원하고, Rails의 구성 및 배포 규칙을 준수합니다.

Nestor는 대화 상태를 유지하고 외부 도구를 호출하며 처리 파이프라인을 사용자 정의할 수 있는 모듈형 아키텍처를 제공합니다. 주요 기능에는 세션 기반 메모리 저장소, 도구 기능 또는 플러그인 등록을 위한 레지스트리, 유연한 프롬프트 템플릿 및 통합 LLM 클라이언트 인터페이스가 포함됩니다. 에이전트는 순차적 작업을 수행하거나 결정 분기를 하고 REST API 또는 로컬 스크립트와 통합할 수 있습니다. Nestor는 프레임워크에 구애받지 않으며, OpenAI, Azure 또는 자체 호스팅 LLM 제공자를 사용할 수 있습니다.