En su núcleo, Memary proporciona un sistema modular de gestión de memoria adaptado a agentes de modelos lingüísticos grandes. Al abstraer las interacciones de memoria a través de una API común, soporta múltiples backends, incluyendo diccionarios en memoria, Redis para caché distribuido y almacenes vectoriales como Pinecone o FAISS para búsqueda semántica. Los usuarios pueden definir memorias basadas en esquemas (episódicas, semánticas o a largo plazo) y aprovechar modelos de embeddings para rellenar automáticamente los almacenes vectoriales. Las funciones de recuperación permiten recordar memoria relevante durante las conversaciones, mejorando las respuestas del agente con interacciones pasadas o datos específicos del dominio. Diseñado para la extensibilidad, Memary puede integrar backends y funciones de embedding personalizadas, siendo ideal para desarrollar aplicaciones IA robustas y con estado, como asistentes virtuales, bots de atención al cliente y herramientas de investigación que requieren conocimiento persistente a lo largo del tiempo.

Backmesh es un Backend como Servicio (BaaS) completamente probado que ofrece un Guardián de API LLM, permitiendo que tu aplicación llame a las APIs LLM de forma segura. Usando autenticación JWT, límites de tasa configurables y control de acceso a recursos de API, Backmesh garantiza que solo los usuarios autorizados tengan acceso mientras previene el abuso de la API. Además, proporciona análisis de usuarios LLM sin paquetes adicionales, lo que facilita la identificación de patrones de uso, la reducción de costos y la mejora en la satisfacción del usuario.