Granite Retrieval Agent는 의미적 검색과 대형 언어 모델을 결합한 검색 강화 생성형 AI 에이전트를 유연하게 구축할 수 있는 플랫폼을 제공합니다. 사용자는 다양한 출처의 문서를 수집하고, 벡터 임베딩을 생성하며, Azure Cognitive Search 인덱스 또는 기타 벡터 저장소를 구성할 수 있습니다. 쿼리가 들어오면, 에이전트는 가장 관련성 높은 구절을 검색하고, 컨텍스트 윈도우를 구성하며, LLM API를 호출하여 정확한 답변 또는 요약을 제공합니다. 메모리 관리, 사고 사슬 오케스트레이션 및 맞춤 플러그인 지원으로 전처리 및 후처리도 수행합니다. Docker 또는 파이썬 직접 배포가 가능하며, 이를 통해 지식 기반 챗봇, 엔터프라이즈 어시스턴트, Q&A 시스템을 빠르게 개발할 수 있으며, 환각 현상을 줄이고 사실 정확성을 향상시킵니다.

사이버보안용 RAG는 대형 언어 모델과 벡터 기반 검색의 강점을 결합하여, 보안팀이 사이버보안 정보를 접근하고 분석하는 방식을 혁신합니다. 사용자는 MITRE ATT&CK 매트릭스, CVE 항목, 보안 경고 등의 문서를 먼저 입력하고, 각 문서에 대한 임베딩을 생성하여 벡터 데이터베이스에 저장합니다. 사용자가 질의를 보내면, RAG는 가장 관련성 높은 문서 조각들을 검색하여 LLM에 전달하고, 정밀하고 맥락이 풍부한 응답을 돌려줍니다. 이 방법은 권위 있는 출처를 기반으로 답변을 제공하여 환각 현상을 줄이고 정확도를 향상시킵니다. 커스터마이징 가능한 데이터 파이프라인과 여러 임베딩 및 LLM 제공자를 지원하여, 팀들은 자신들의 위협 인텔리전스 요구에 맞게 시스템을 조정할 수 있습니다.