No seu núcleo, Memary fornece um sistema modular de gerenciamento de memória adaptado para agentes de modelos de linguagem grande. Ao abstrair as interações de memória por meio de uma API comum, ele suporta múltiplos backends de armazenamento, incluindo dicionários em memória, Redis para cache distribuído e armazenamentos vetoriais como Pinecone ou FAISS para busca semântica. Os usuários podem definir memórias baseadas em esquemas (episódicas, semânticas ou de longo prazo) e utilizar modelos de embedding para preencher automaticamente os armazenamentos vetoriais. Funções de recuperação permitem uma recordação relevante do contexto durante conversas, aprimorando as respostas dos agentes com interações passadas ou dados específicos de domínio. Projetado para extensibilidade, Memary pode integrar backends de memória personalizados e funções de embedding, sendo ideal para desenvolver aplicações robustas e com estado, como assistentes virtuais, bots de atendimento ao cliente e ferramentas de pesquisa que exigem conhecimento persistente ao longo do tempo.

Backmesh é um Backend como Serviço (BaaS) totalmente testado que oferece um Guardião de API LLM, permitindo que seu aplicativo chame APIs LLM de forma segura. Usando autenticação JWT, limites de taxa configuráveis e controle de acesso a recursos da API, o Backmesh garante que apenas usuários autorizados tenham acesso enquanto previne abusos de API. Além disso, fornece análises de usuários LLM sem pacotes extras, permitindo a identificação de padrões de uso, redução de custos e melhorias na satisfação do usuário.