LlamaIndex est une bibliothèque Python orientée développeur conçue pour combler le fossé entre les grands modèles de langage et les données privées ou spécifiques à un domaine. Elle offre plusieurs types d’index—comme les index vectoriels, arborescents et par mots-clés—ainsi que des adaptateurs pour bases de données, systèmes de fichiers et API web. Le cadre inclut des outils pour découper les documents en nœuds, les intégrer via des modèles d’intégration populaires et effectuer une récupération intelligente pour fournir du contexte à un LLM. Avec la mise en cache intégrée, des schémas de requête et la gestion des nœuds, LlamaIndex facilite la création d’applications augmentant la récupération, permettant des réponses très précises et riches en contexte dans des applications comme les chatbots, les services QA et les pipelines analytiques.

Agentic Shared Memory fournit une solution robuste pour la gestion des données contextuelles dans des environnements multi-agents pilotés par l’IA. En utilisant des vecteurs d’intégration et des structures de données efficaces, il stocke des observations, décisions et transitions d’état des agents, permettant un accès et une mise à jour transparents du contexte. Les agents peuvent interroger la mémoire partagée pour accéder à des interactions passées ou à des connaissances globales, favorisant un comportement cohérent et une résolution collaborative de problèmes. La bibliothèque supporte une intégration plug-and-play avec des cadres IA populaires comme LangChain ou des orchestrateurs d’agents personnalisés, offrant des stratégies de rétention personnalisables, des fenêtres de contexte et des fonctions de recherche. En abstraisant la gestion de la mémoire, les développeurs peuvent se concentrer sur la logique de l’agent tout en assurant une gestion scalable et cohérente de la mémoire dans des déploiements distribués ou centralisés. Cela améliore la performance globale du système, réduit les calculs redondants et renforce l’intelligence des agents au fil du temps.

Chat-With-CUHKSZ fournit une pipeline simplifiée pour construire un chatbot spécifique à un domaine basé sur la base de connaissances de CUHKSZ. Après avoir cloné le dépôt, les utilisateurs configurent leurs identifiants API OpenAI et spécifient les sources de documents, comme les PDF du campus, les pages web, et les articles de recherche. L'outil utilise LlamaIndex pour prétraiter et indexer les documents, créant un stockage vectoriel efficace. LangChain orchestre la récupération et les prompts, fournissant des réponses pertinentes dans une interface conversationnelle. L'architecture supporte l'ajout de documents personnalisés, la fine-tuning des stratégies de prompt, et le déploiement via Streamlit ou un serveur Python. Il intègre aussi des améliorations de recherche sémantique optionnelles, supporte la journalisation des requêtes pour l'audit, et peut être étendu à d'autres universités avec une configuration minimale.