Granite Retrieval Agent는 의미적 검색과 대형 언어 모델을 결합한 검색 강화 생성형 AI 에이전트를 유연하게 구축할 수 있는 플랫폼을 제공합니다. 사용자는 다양한 출처의 문서를 수집하고, 벡터 임베딩을 생성하며, Azure Cognitive Search 인덱스 또는 기타 벡터 저장소를 구성할 수 있습니다. 쿼리가 들어오면, 에이전트는 가장 관련성 높은 구절을 검색하고, 컨텍스트 윈도우를 구성하며, LLM API를 호출하여 정확한 답변 또는 요약을 제공합니다. 메모리 관리, 사고 사슬 오케스트레이션 및 맞춤 플러그인 지원으로 전처리 및 후처리도 수행합니다. Docker 또는 파이썬 직접 배포가 가능하며, 이를 통해 지식 기반 챗봇, 엔터프라이즈 어시스턴트, Q&A 시스템을 빠르게 개발할 수 있으며, 환각 현상을 줄이고 사실 정확성을 향상시킵니다.

OmniSteward는 Python 기반의 모듈식 AI 에이전트 오케스트레이션 플랫폼으로, OpenAI, 로컬 LLM에 연결되고 사용자 정의 모델도 지원합니다. 맥락 저장용 메모리 모듈, API 호출, 웹 검색, 코드 실행, 데이터베이스 쿼리용 도구킷을 제공합니다. 사용자는 프롬프트, 워크플로우, 트리거를 포함한 에이전트 템플릿을 정의합니다. 프레임워크는 여러 에이전트를 병렬로 오케스트레이션하고 대화 기록을 관리하며 파이프라인을 통해 작업을 자동화합니다. 또한 로깅, 모니터링 대시보드, 플러그인 아키텍처, 타사 서비스와의 통합도 포함됩니다. OmniSteward는 연구, 운영, 마케팅 등 도메인 전용 도우미 개발을 간소화하며 유연성, 확장성, 오픈소스 투명성을 제공합니다.