Llama Deploy를 사용하여 LlamaIndex 데이터를 프로덕션에 적합한 AI 에이전트로 변환할 수 있습니다. AWS Lambda, Vercel Functions, 또는 Docker 컨테이너와 같은 배포 대상 구성을 통해 보안이 강화된 자동 확장 채팅 API를 제공하며, 사용자 지정 인덱스에서 응답을 제공합니다. 엔드포인트 생성, 요청 라우팅, 토큰 기반 인증, 성능 모니터링을 기본 제공하며, 로컬 테스트에서 프로덕션 배포까지 전체 과정을 간소화하여 낮은 지연 시간과 높은 가용성을 확보합니다.

AWS 샘플 모델 컨텍스트 프로토콜 데모는 대형 언어 모델(LLM)의 컨텍스트 관리 및 도구 호출을 위한 표준 패턴을 보여주는 오픈 소스 리포지토리입니다. JavaScript/TypeScript와 Python 버전의 두 개의 완전한 데모가 포함되어 있으며, 모델 컨텍스트 프로토콜을 구현하여 개발자가 AWS Lambda 함수 호출, 대화 기록 유지, 응답 스트리밍을 수행하는 AI 에이전트를 구축할 수 있도록 지원합니다. 샘플 코드는 메시지 포맷화, 함수 인자 직렬화, 오류 처리, 맞춤형 도구 통합을 보여주며, 생성형 AI 애플리케이션 프로토타이핑을 가속화합니다.