Les LLMs offrent une abstraction unifiée pour divers modèles linguistiques open source et hébergés, permettant aux développeurs de charger et d'exécuter des modèles via une seule interface. Il supporte la découverte de modèles, la gestion des invites et des pipelines, le traitement en lot, ainsi que le contrôle précis des tokens, de la température et du streaming. Les utilisateurs peuvent facilement changer entre les backends CPU et GPU, s'intégrer à des hôtes de modèles locaux ou distants, et mettre en cache les réponses pour améliorer la performance. Le framework inclut des utilitaires pour les modèles d'invite, l'analyse des réponses et le benchmarking des performances des modèles. En découplant la logique de l'application de l'implémentation spécifique au modèle, LLMs accélère le développement d'applications NLP telles que chatbots, génération de texte, synthèse, traduction, etc., sans verrouillage fournisseur ou API propriétaire.

OSU NLP Middleware est un framework léger en Python, facilitant le développement de systèmes d’agents IA. Il fournit une boucle principale qui orchestre les interactions entre modèles linguistiques naturels et fonctions d’outils externes définies comme plugins. Le framework supporte des fournisseurs LLM populaires (OpenAI, Hugging Face, etc.) et permet aux développeurs d’enregistrer des outils personnalisés pour des tâches comme les requêtes à des bases de données, la récupération de documents, la recherche Web, le calcul mathématique, et les appels API REST. Middleware gère l’historique des conversations, les limites de débit, et journalise toutes les interactions. Il offre également une mise en cache configurable et des politiques de réessai pour une fiabilité accrue, facilitant la création d’assistants intelligents, chatbots, et workflows autonomes avec un minimum de code standard.