Local LLM avec appel de fonction permet aux développeurs de créer des agents IA qui fonctionnent entièrement sur le matériel local, éliminant ainsi les préoccupations de confidentialité des données et les dépendances au cloud. Le cadre inclut un code d'exemple pour intégrer des LLM locaux tels que LLaMA, GPT4All ou d'autres modèles à poids ouverts, et démontre comment configurer des schémas de fonctions que le modèle peut invoquer pour effectuer des tâches telles que la récupération de données, l'exécution de commandes shell ou l'interaction avec des API. Les utilisateurs peuvent étendre la conception en définissant des points de terminaison de fonction personnalisés, en personnalisant des invites et en gérant les réponses de fonction. Cette solution légère simplifie le processus de création d'assistants IA hors ligne, de chatbots et d'outils d'automatisation pour une large gamme d'applications.

Neurite Network est une plateforme d'inférence décentralisée alimentée par la blockchain, permettant un service en temps réel des modèles IA sur un marché mondial de GPU. Les fournisseurs de modèles enregistrent et déploient leurs modèles PyTorch ou TensorFlow via une API RESTful. Les opérateurs GPU misent des jetons, gèrent des nœuds d'inférence et gagnent des récompenses en respectant les SLA. Les contrats intelligents du réseau gèrent l’allocation des travaux, la facturation transparente et la résolution des litiges. Les utilisateurs bénéficient de tarifs payant à l’usage, d’une faible latence et d’une mise à l’échelle automatique sans verrouillage par un fournisseur.