В основе Memary лежит модульная система управления памятью, специально разработанная для больших языковых моделей-агентов. Через абстрагирование взаимодействий с помощью общего API она поддерживает несколько бекендов, включая словари в памяти, Redis для распределенного кэширования и векторные хранилища, такие как Pinecone или FAISS, для семантического поиска. Пользователи могут определять схемы памяти (эпизодическую, семантическую или долгосрочную) и использовать модели встраивания для автоматического наполнения векторных хранилищ. Функции поиска позволяют вспоминать релевантную память в ходе диалогов, повышая качество ответов и релевантность прошлых взаимодействий или области данных. Благодаря расширяемой архитектуре, Memary может интегрировать пользовательские бекенды и функции встраивания, делая его идеальным для разработки надежных, с состоянием AI-приложений, таких как виртуальные помощники, боты службы поддержки клиентов и инструменты исследования, требующие долговременного хранения знаний.

Memonto функционирует как промежуточная библиотека для агентов ИИ, управляя всем циклом памяти. Во время каждого этапа разговора он записывает сообщения пользователя и ИИ, выделяет важные детали и создает краткие обзоры. Эти обзоры превращаются в векторные встраивания и хранятся в базах данных или файлах. При создании новых подсказок Memonto выполняет семантические поиски для получения наиболее релевантных исторических воспоминаний, что позволяет агентам сохранять контекст, помнить предпочтения пользователя и предоставлять персонализированные ответы. Поддерживаются разные системы хранения (SQLite, FAISS, Redis), а также предлагаются настраиваемые конвейеры для встраивания, суммирования и поиска. Разработчики могут легко интегрировать Memonto в существующие фреймворки агента, повышая согласованность и долгосрочную вовлеченность.

GenAI Processors обеспечивает набор переиспользуемых и настраиваемых процессоров для построения конвейеров генеративного AI от начала до конца. Разработчики могут загружать документы, разделять их на семантические фрагменты, создавать встраивания, хранить и запрашивать векторы, применять стратегии поиска и динамически формировать подсказки для вызова крупных языковых моделей. Его дизайн «вставляй-и-играй» облегчает расширение пользовательских этапов обработки, бесшовную интеграцию с сервисами Google Cloud или внешними хранилищами векторов, а также управление сложными RAG-пайплайнами для задач таких, как ответы на вопросы, суммирование и поиск знаний.