В основе Memary лежит модульная система управления памятью, специально разработанная для больших языковых моделей-агентов. Через абстрагирование взаимодействий с помощью общего API она поддерживает несколько бекендов, включая словари в памяти, Redis для распределенного кэширования и векторные хранилища, такие как Pinecone или FAISS, для семантического поиска. Пользователи могут определять схемы памяти (эпизодическую, семантическую или долгосрочную) и использовать модели встраивания для автоматического наполнения векторных хранилищ. Функции поиска позволяют вспоминать релевантную память в ходе диалогов, повышая качество ответов и релевантность прошлых взаимодействий или области данных. Благодаря расширяемой архитектуре, Memary может интегрировать пользовательские бекенды и функции встраивания, делая его идеальным для разработки надежных, с состоянием AI-приложений, таких как виртуальные помощники, боты службы поддержки клиентов и инструменты исследования, требующие долговременного хранения знаний.
