Локальный LLM с вызовами функций позволяет разработчикам создавать AI-агентов, которые полностью работают на локальном оборудовании, устраняя проблемы конфиденциальности данных и зависимости от облака. В рамках приводится пример кода для интеграции локальных LLM, таких как LLaMA, GPT4All или другие модели с открытым весом, и показывается, как настраивать схемы функций, которые модель может вызывать для выполнения таких задач, как получение данных, выполнение shell-команд или взаимодействие с API. Пользователи могут расширять дизайн, определяя собственные конечные точки функций, настраивая подсказки и обрабатывая ответы функций. Это лёгкое решение упрощает создание оффлайн-ассистентов, чатботов и инструментов автоматизации для различных приложений.