Granite Retrieval Agent는 의미적 검색과 대형 언어 모델을 결합한 검색 강화 생성형 AI 에이전트를 유연하게 구축할 수 있는 플랫폼을 제공합니다. 사용자는 다양한 출처의 문서를 수집하고, 벡터 임베딩을 생성하며, Azure Cognitive Search 인덱스 또는 기타 벡터 저장소를 구성할 수 있습니다. 쿼리가 들어오면, 에이전트는 가장 관련성 높은 구절을 검색하고, 컨텍스트 윈도우를 구성하며, LLM API를 호출하여 정확한 답변 또는 요약을 제공합니다. 메모리 관리, 사고 사슬 오케스트레이션 및 맞춤 플러그인 지원으로 전처리 및 후처리도 수행합니다. Docker 또는 파이썬 직접 배포가 가능하며, 이를 통해 지식 기반 챗봇, 엔터프라이즈 어시스턴트, Q&A 시스템을 빠르게 개발할 수 있으며, 환각 현상을 줄이고 사실 정확성을 향상시킵니다.

Semantic Kernel Copilot 데모는 Microsoft의 Semantic Kernel 프레임워크로 고급 AI 에이전트를 구축하는 방법을 보여주는 종단 간 참조 애플리케이션입니다. 이 데모는 다단계 추론을 위한 프롬프트 체이닝, 세션 간 맥락을 기억하는 메모리 관리, 외부 API 또는 서비스와의 통합을 가능하게 하는 플러그인 기반 스킬 구조를 특징으로 합니다. 개발자는 Azure OpenAI 또는 OpenAI 모델용 커넥터를 구성하고, 맞춤형 프롬프트 템플릿을 정의하며, 캘린더 액세스, 파일 작업, 데이터 검색과 같은 도메인별 스킬을 구현할 수 있습니다. 이 샘플은 이러한 구성 요소를 오케스트레이션하여 사용자 의도를 이해하고, 작업을 수행하며, 시간에 따라 맥락을 유지하는 대화형 Copilot를 생성하는 방법을 보여줍니다. 이는 개인화된 AI 어시스턴트 개발을 빠르게 촉진합니다.

SimplerLLM은 개발자에게 LLM 체인 구성, 에이전트 행동 정의, 도구 호출 조정을 위한 최소한의 API를 제공합니다. 메모리 유지, 프롬프트 템플릿, 출력 파싱에 대한 내장 추상화로 사용자는 맥락을 유지하는 대화형 에이전트를 빠르게 조립할 수 있습니다. 이 프레임워크는 OpenAI, Azure, HuggingFace 모델과 원활하게 통합되며 검색, 계산기, 맞춤 API를 위한 플러그인 툴킷을 지원합니다. 경량 핵심은 의존성을 최소화하여 민첩한 개발과 클라우드 또는 엣지 배포를 용이하게 합니다. 챗봇, Q&A 어시스턴트, 작업 자동화기 등을 구축할 때 SimplifyLLM은 엔드투엔드 LLM 에이전트 파이프라인을 단순화합니다.