Локальный LLM с вызовами функций позволяет разработчикам создавать AI-агентов, которые полностью работают на локальном оборудовании, устраняя проблемы конфиденциальности данных и зависимости от облака. В рамках приводится пример кода для интеграции локальных LLM, таких как LLaMA, GPT4All или другие модели с открытым весом, и показывается, как настраивать схемы функций, которые модель может вызывать для выполнения таких задач, как получение данных, выполнение shell-команд или взаимодействие с API. Пользователи могут расширять дизайн, определяя собственные конечные точки функций, настраивая подсказки и обрабатывая ответы функций. Это лёгкое решение упрощает создание оффлайн-ассистентов, чатботов и инструментов автоматизации для различных приложений.

Neurite Network — платформа для децентрализованной инференса на базе блокчейна, позволяющая осуществлять работу моделей ИИ в реальном времени на глобальном рынке GPU. Провайдеры моделей регистрируют и развертывают обученные модели PyTorch или TensorFlow через RESTful API. Операторы GPU ставят токены, управляют узлами инференса и получают награды за выполнение SLA. Умные контракты сети управляют распределением задач, прозрачной тарификацией и разрешением споров. Пользователи получают выгоду от оплаты по мере использования, низкой задержки и автоматического масштабирования без привязки к одному поставщику.