LlamaIndex est une bibliothèque Python orientée développeur conçue pour combler le fossé entre les grands modèles de langage et les données privées ou spécifiques à un domaine. Elle offre plusieurs types d’index—comme les index vectoriels, arborescents et par mots-clés—ainsi que des adaptateurs pour bases de données, systèmes de fichiers et API web. Le cadre inclut des outils pour découper les documents en nœuds, les intégrer via des modèles d’intégration populaires et effectuer une récupération intelligente pour fournir du contexte à un LLM. Avec la mise en cache intégrée, des schémas de requête et la gestion des nœuds, LlamaIndex facilite la création d’applications augmentant la récupération, permettant des réponses très précises et riches en contexte dans des applications comme les chatbots, les services QA et les pipelines analytiques.

Au cœur, Memary fournit un système de gestion de mémoire modulaire adapté aux agents de modèles linguistiques de grande taille. En abstraisant les interactions de mémoire via une API commune, il supporte plusieurs backends, notamment des dictionnaires en mémoire, Redis pour la mise en cache distribuée, et des magasins vectoriels comme Pinecone ou FAISS pour la recherche sémantique. Les utilisateurs définissent des schémas de mémoire (épisodes, sémantique ou à long terme) et exploitent des modèles d’embedding pour remplir automatiquement les magasins vectoriels. Les fonctions de récupération permettent de rappeler la mémoire pertinente contextuellement lors des conversations, améliorant les réponses des agents avec des interactions passées ou des données spécifiques au domaine. Conçu pour l’extensibilité, Memary peut intégrer des backends et fonctions d’embedding personnalisées, rendant idéal le développement d’applications IA robustes et à états, comme les assistants virtuels, bots de service client, et outils de recherche nécessitant une connaissance persistante au fil du temps.