LLM Functions proporciona un marco sencillo para conectar las respuestas de grandes modelos lingüísticos con la ejecución real del código. Defina funciones mediante esquemas JSON, regístrelas en la biblioteca, y el LLM devolverá llamadas estructuradas a funciones cuando corresponda. La biblioteca analiza esas respuestas, valida los parámetros y llama al manejador correcto. Soporta callbacks síncronos y asíncronos, manejo de errores personalizado y extensiones de plugins, lo que la hace ideal para aplicaciones que requieren búsqueda dinámica de datos, llamadas API externas o lógica empresarial compleja en conversaciones impulsadas por IA.

Granite Retrieval Agent proporciona a los desarrolladores una plataforma flexible para construir agentes AI generativos aumentados por recuperación que combinan búsqueda semántica y grandes modelos de lenguaje. Los usuarios pueden ingerir documentos de diversas fuentes, crear embeddings vectoriales y configurar índices de Azure Cognitive Search u otros almacenes vectoriales. Cuando llega una consulta, el agente recupera los pasajes más relevantes, construye ventanas de contexto y llama a las APIs de LLM para respuestas o resúmenes precisos. Soporta gestión de memoria, orquestación de cadenas de pensamiento y plugins personalizados para pre y post-procesamiento. Desplegable con Docker o directamente en Python, Granite Retrieval Agent acelera la creación de chatbots basados en conocimiento, asistentes empresariales y sistemas Q&A con menos alucinaciones y mayor precisión factual.