OSU NLP Middleware est un framework léger en Python, facilitant le développement de systèmes d’agents IA. Il fournit une boucle principale qui orchestre les interactions entre modèles linguistiques naturels et fonctions d’outils externes définies comme plugins. Le framework supporte des fournisseurs LLM populaires (OpenAI, Hugging Face, etc.) et permet aux développeurs d’enregistrer des outils personnalisés pour des tâches comme les requêtes à des bases de données, la récupération de documents, la recherche Web, le calcul mathématique, et les appels API REST. Middleware gère l’historique des conversations, les limites de débit, et journalise toutes les interactions. Il offre également une mise en cache configurable et des politiques de réessai pour une fiabilité accrue, facilitant la création d’assistants intelligents, chatbots, et workflows autonomes avec un minimum de code standard.