Im Kern bietet Memary ein modulares Speichermanagementsystem, das speziell für große Sprachmodell-Agenten entwickelt wurde. Durch die Abstraktion von Speicherinteraktionen über eine gemeinsame API unterstützt es mehrere Backends, darunter In-Memory-Dictionaries, Redis für verteiltes Caching und Vektor-Speicher wie Pinecone oder FAISS für semantische Suche. Benutzer definieren schemasbasierte Speicher (episodisch, semantisch oder Langzeit) und nutzen Einbettungsmodelle, um Vektor-Speicher automatisch zu füllen. Abfragefunktionen ermöglichen kontextuell relevante Speicherabrufe während Gesprächen, was die Antworten der Agenten mit vergangenen Interaktionen oder fachspezifischen Daten verbessert. Für Erweiterbarkeit konzipiert, kann Memary benutzerdefinierte Speicher-Backends und Einbettungsfunktionen integrieren, was es ideal macht für die Entwicklung robuster, zustandsbehafteter KI-Anwendungen wie virtuelle Assistenten, Kundenservice-Chatbots und Forschungswerkzeuge, die über die Zeit persistentes Wissen erfordern.

Backmesh ist ein umfassend getesteter Backend-Service (BaaS), der einen LLM-API-Wächter bietet, mit dem Ihre App sicher LLM-APIs aufrufen kann. Durch die Verwendung von JWT-Authentifizierung, konfigurierbaren Ratenlimits und der Kontrolle des API-Ressourcenzugriffs stellt Backmesh sicher, dass nur autorisierte Benutzer Zugriff haben, während API-Missbrauch verhindert wird. Darüber hinaus bietet es LLM-Nutzeranalysen ohne zusätzliche Pakete, die es ermöglichen, Nutzungsmuster zu identifizieren, Kosten zu senken und die Benutzerzufriedenheit zu verbessern.