Granite Retrieval Agent offre aux développeurs une plateforme flexible pour construire des agents IA génératives augmentés par récupération combinant recherche sémantique et grands modèles linguistiques. Les utilisateurs peuvent ingérer des documents provenant de sources diverses, créer des embeddings vectoriels et configurer des index Azure Cognitive Search ou d'autres magasins vectoriels. Lorsqu’une requête arrive, l’agent récupère les passages les plus pertinents, construit des fenêtres contextuelles et appelle les API LLM pour des réponses ou résumés précis. Il supporte la gestion de la mémoire, l’orchestration en chaîne de la réflexion et des plugins personnalisés pour le pré et post-traitement. Déployable via Docker ou directement en Python, Granite Retrieval Agent accélère la création de chatbots basés sur la connaissance, assistants d'entreprise et systèmes Q&A avec moins d’hallucinations et une meilleure précision factuelle.

PromptMule est un service de mise en cache d'API basé sur le cloud, adapté aux applications d'IA générative et de modèles de langage larges (LLM). En fournissant une mise en cache optimisée pour l'IA et les LLM avec une faible latence, il réduit considérablement les coûts d'appels API et améliore les performances des applications. Ses mesures de sécurité robustes garantissent la protection des données tout en permettant une évolutivité efficace. Les développeurs peuvent tirer parti de PromptMule pour améliorer leurs applications GenAI, obtenir des temps de réponse plus rapides et réduire les coûts d'exploitation, ce qui en fait un outil indispensable pour le développement moderne des applications.