TreeInstruct fournit un cadre pour construire des pipelines de prompts hiérarchiques basés sur des arbres de décision pour de grands modèles linguistiques. Les utilisateurs peuvent définir des nœuds représentant des prompts ou des appels de fonction, établir des branches conditionnelles en fonction des sorties du modèle, et exécuter l'arbre pour guider des workflows complexes. Il prend en charge l'intégration avec OpenAI et d'autres fournisseurs de LLM, offrant la journalisation, la gestion des erreurs et des paramètres de nœuds personnalisables pour assurer transparence et flexibilité dans les interactions à plusieurs tours.

Whiz est conçu pour fournir une base robuste pour le développement d'agents intelligents capables d'effectuer des workflows conversationnels et orientés tâches complexes. Avec Whiz, les développeurs définissent des "outils" — des fonctions Python ou des API externes — que l'agent peut invoquer lors du traitement des requêtes utilisateur. Un module de mémoire intégré capture et récupère le contexte de conversation, permettant des interactions multi-tours cohérentes. Un moteur de planification dynamique décompose les objectifs en étapes réalisables, tandis qu'une interface flexible permet d'injecter des politiques personnalisées, des registres d'outils et des backends de mémoire. Whiz supporte la recherche sémantique basée sur des embeddings pour extraire des documents pertinents, la journalisation pour la traçabilité et l'exécution asynchrone pour la montée en charge. Entièrement open-source, Whiz peut être déployé partout où Python s'exécute, permettant une création rapide de prototypes de bots d'assistance client, d'assistants d'analyse de données ou d'agents spécialisés, avec peu de boilerplate.