LLM Functions는 대규모 언어 모델의 응답과 실제 코드 실행을 연결하는 간단한 프레임워크를 제공합니다. JSON 스키마를 통해 함수를 정의하고 라이브러리에 등록하면, 적절한 경우 LLM이 구조화된 함수 호출을 반환합니다. 라이브러리는 이러한 응답을 분석하고, 매개변수를 검증하며, 올바른 핸들러를 호출합니다. 동기 및 비동기 콜백, 사용자 지정 오류 처리, 플러그인 확장을 지원하며, 데이터 검색, 외부 API 호출 또는 복잡한 비즈니스 로직이 필요한 애플리케이션에 이상적입니다.

Granite Retrieval Agent는 의미적 검색과 대형 언어 모델을 결합한 검색 강화 생성형 AI 에이전트를 유연하게 구축할 수 있는 플랫폼을 제공합니다. 사용자는 다양한 출처의 문서를 수집하고, 벡터 임베딩을 생성하며, Azure Cognitive Search 인덱스 또는 기타 벡터 저장소를 구성할 수 있습니다. 쿼리가 들어오면, 에이전트는 가장 관련성 높은 구절을 검색하고, 컨텍스트 윈도우를 구성하며, LLM API를 호출하여 정확한 답변 또는 요약을 제공합니다. 메모리 관리, 사고 사슬 오케스트레이션 및 맞춤 플러그인 지원으로 전처리 및 후처리도 수행합니다. Docker 또는 파이썬 직접 배포가 가능하며, 이를 통해 지식 기반 챗봇, 엔터프라이즈 어시스턴트, Q&A 시스템을 빠르게 개발할 수 있으며, 환각 현상을 줄이고 사실 정확성을 향상시킵니다.