Im Kern bietet Memary ein modulares Speichermanagementsystem, das speziell für große Sprachmodell-Agenten entwickelt wurde. Durch die Abstraktion von Speicherinteraktionen über eine gemeinsame API unterstützt es mehrere Backends, darunter In-Memory-Dictionaries, Redis für verteiltes Caching und Vektor-Speicher wie Pinecone oder FAISS für semantische Suche. Benutzer definieren schemasbasierte Speicher (episodisch, semantisch oder Langzeit) und nutzen Einbettungsmodelle, um Vektor-Speicher automatisch zu füllen. Abfragefunktionen ermöglichen kontextuell relevante Speicherabrufe während Gesprächen, was die Antworten der Agenten mit vergangenen Interaktionen oder fachspezifischen Daten verbessert. Für Erweiterbarkeit konzipiert, kann Memary benutzerdefinierte Speicher-Backends und Einbettungsfunktionen integrieren, was es ideal macht für die Entwicklung robuster, zustandsbehafteter KI-Anwendungen wie virtuelle Assistenten, Kundenservice-Chatbots und Forschungswerkzeuge, die über die Zeit persistentes Wissen erfordern.

Memonto fungiert als Middleware-Bibliothek für KI-Agenten und orchestriert den vollständigen Speicherzyklus. Während jeder Gesprächsrunde zeichnet es Benutzer- und KI-Nachrichten auf, extrahiert wichtige Details und erstellt prägnante Zusammenfassungen. Diese Zusammenfassungen werden in Embeddings umgewandelt und in Vektordatenbanken oder Dateispeichern gespeichert. Beim Erstellen neuer Prompts führt Memonto semantische Suchen durch, um die relevantesten historischen Erinnerungen abzurufen, sodass die Agenten den Kontext aufrechterhalten, Benutzerpräferenzen erinnern und personalisierte Antworten geben können. Es unterstützt mehrere Speicher-Backends (SQLite, FAISS, Redis) und bietet konfigurierbare Pipelines für Einbettung, Zusammenfassung und Abruf. Entwickler können Memonto nahtlos in bestehende Agenten-Frameworks integrieren, um Kohärenz und langfristiges Engagement zu steigern.

GenAI Processors stellt eine Bibliothek wiederverwendbarer, konfigurierbarer Prozessoren bereit, um End-to-End generative KI-Workflows aufzubauen. Entwickler können Dokumente aufnehmen, sie in semantische Fragmente zerlegen, Einbettungen generieren, Vektoren speichern und abfragen, Retrieval-Strategien anwenden und Prompt-Vorlagen für große Sprachmodelle dynamisch erstellen. Das Plug-and-Play-Design ermöglicht die einfache Erweiterung eigener Verarbeitungsschritte, nahtlose Integration mit Google Cloud-Diensten oder externen Vektor-Speichern sowie die Steuerung komplexer RAG-Pipelines für Aufgaben wie Fragebeantwortung, Zusammenfassung und Wissensabfrage.