LLM Functions предоставляет простую рамку для связывания ответов крупных языковых моделей с фактическим выполнением кода. Вы определяете функции через JSON-схемы, регистрируете их в библиотеке, и LLM будет возвращать структурированные вызовы функций, когда это уместно. Библиотека разбирает эти ответы, валидирует параметры и вызывает правильный обработчик. Поддержка синхронных и асинхронных обратных вызовов, настройка обработки ошибок и расширения плагинов делают ее идеальной для приложений, требующих динамического поиска данных, внешних API-вызовов или сложной бизнес-логики в разговорных системах, управляемых ИИ.

Granite Retrieval Agent предоставляет разработчикам гибкую платформу для создания генеративных AI-агентов с повышенной точностью, объединяющих семантический поиск и большие языковые модели. Пользователи могут внедрять документы из разнообразных источников, создавать векторные вкрапления и настраивать индексы Azure Cognitive Search или другие хранилища векторов. При поступлении запроса агент извлекает наиболее релевантные отрывки, создает контекстные окна и вызывает API LLM для получения точных ответов или сводок. Поддерживается управление памятью, оркестрация цепочек мышления и пользовательские плагины для пред- и пост-обработки. Возможна установка через Docker или прямо на Python, что ускоряет создание чатботов на базе знания, корпоративных помощников и систем Q&A с меньшим количеством галлюцинаций и повышенной точностью фактов.