Au cœur, Memary fournit un système de gestion de mémoire modulaire adapté aux agents de modèles linguistiques de grande taille. En abstraisant les interactions de mémoire via une API commune, il supporte plusieurs backends, notamment des dictionnaires en mémoire, Redis pour la mise en cache distribuée, et des magasins vectoriels comme Pinecone ou FAISS pour la recherche sémantique. Les utilisateurs définissent des schémas de mémoire (épisodes, sémantique ou à long terme) et exploitent des modèles d’embedding pour remplir automatiquement les magasins vectoriels. Les fonctions de récupération permettent de rappeler la mémoire pertinente contextuellement lors des conversations, améliorant les réponses des agents avec des interactions passées ou des données spécifiques au domaine. Conçu pour l’extensibilité, Memary peut intégrer des backends et fonctions d’embedding personnalisées, rendant idéal le développement d’applications IA robustes et à états, comme les assistants virtuels, bots de service client, et outils de recherche nécessitant une connaissance persistante au fil du temps.

Backmesh est un Backend as a Service (BaaS) totalement testé qui offre un gardien d'API LLM, permettant à votre application d'appeler en toute sécurité les API LLM. En utilisant l'authentification JWT, des limites de taux configurables et un contrôle d'accès aux ressources API, Backmesh garantit que seuls les utilisateurs autorisés ont accès tout en empêchant l'abus des API. De plus, il fournit des analyses des utilisateurs LLM sans paquets supplémentaires, permettant d'identifier les tendances d'utilisation, de réduire les coûts et d'améliorer la satisfaction des utilisateurs.