Llama Deploy vous permet de transformer vos index de données LlamaIndex en agents IA prêts pour la production. En configurant des cibles de déploiement telles que AWS Lambda, Vercel Functions ou des conteneurs Docker, vous obtenez des API de chat sécurisées, avec mise à l'échelle automatique, qui servent des réponses depuis votre index personnalisé. Il gère la création des points de terminaison, le routage des requêtes, l'authentification par jeton et la surveillance des performances dès la sortie de la boîte. Llama Deploy simplifie tout le processus de déploiement de l'IA conversationnelle, du test local à la production, en assurant une faible latence et une haute disponibilité.

Les démos AWS Sample Model Context Protocol sont un référentiel open-source présentant des modèles standard pour la gestion du contexte de grands modèles de langage (LLM) et l'invocation d'outils. Il comporte deux démos complètes — une en JavaScript/TypeScript et une en Python — qui implémentent le Protocole de Contexte du Modèle, permettant aux développeurs de construire des agents AI pouvant appeler des fonctions AWS Lambda, conserver l'historique des conversations et diffuser des réponses. Le code d'exemple montre la mise en forme des messages, la sérialisation des arguments de fonction, la gestion des erreurs et des intégrations d'outils personnalisables, accélérant le prototypage des applications d'IA générative.