LLM Functions offre un cadre simple pour relier les réponses du grand modèle linguistique à l’exécution réelle du code. Vous définissez des fonctions via des schémas JSON, les enregistrez dans la bibliothèque, et le LLM retournera des appels de fonction structurés lorsque cela est approprié. La bibliothèque parses ces réponses, valide les paramètres, et invoque le gestionnaire correct. Elle supporte les rappels synchrones et asynchrones, la gestion d’erreur personnalisée, et les extensions de plugins, ce qui la rend idéale pour les applications nécessitant une recherche dynamique de données, des appels API externes, ou une logique commerciale complexe au sein de conversations pilotées par IA.

Granite Retrieval Agent offre aux développeurs une plateforme flexible pour construire des agents IA génératives augmentés par récupération combinant recherche sémantique et grands modèles linguistiques. Les utilisateurs peuvent ingérer des documents provenant de sources diverses, créer des embeddings vectoriels et configurer des index Azure Cognitive Search ou d'autres magasins vectoriels. Lorsqu’une requête arrive, l’agent récupère les passages les plus pertinents, construit des fenêtres contextuelles et appelle les API LLM pour des réponses ou résumés précis. Il supporte la gestion de la mémoire, l’orchestration en chaîne de la réflexion et des plugins personnalisés pour le pré et post-traitement. Déployable via Docker ou directement en Python, Granite Retrieval Agent accélère la création de chatbots basés sur la connaissance, assistants d'entreprise et systèmes Q&A avec moins d’hallucinations et une meilleure précision factuelle.