본질적으로, Memary는 대형 언어 모델 에이전트용으로 맞춤화된 모듈식 메모리 관리 시스템을 제공합니다. 공통 API를 통해 메모리 상호작용을 추상화하여, 인메모리 딕셔너리, Redis의 분산 캐시, Pinecone 또는 FAISS와 같은 벡터 저장소의 의미론적 검색을 지원합니다. 사용자는 스키마 기반의 메모리(에피소드, 의미론적 또는 장기)를 정의하고 임베딩 모델을 활용해 벡터 저장소를 자동으로 채웁니다. 검색 기능을 통해 대화 중 관련 컨텍스트를 호출하여 이전 상호작용 또는 도메인 특정 데이터를 기반으로 응답을 향상시킵니다. 확장성을 고려하여 설계된 Memary는 사용자 정의 백엔드와 임베딩 함수를 통합할 수 있어, 지속적인 지식을 요구하는 가상 비서, 고객 지원 봇, 연구 도구와 같은 강력하고 상태가 있는 AI 애플리케이션 개발에 이상적입니다.

Memonto는 AI 에이전트의 미들웨어 라이브러리로, 전체 메모리 수명 주기를 조율합니다. 각 대화 턴마다 사용자 및 AI 메시지를 기록하고, 중요한 세부 정보를 요약하며, 이 요약을 임베딩으로 변환하여 저장합니다. 새 프롬프트를 생성할 때, Memonto는 의미론적 검색을 수행하여 가장 관련성 높은 과거 기억을 검색하며, 에이전트가 맥락을 유지하고, 사용자 선호도를 기억하며, 맞춤형 응답을 제공할 수 있도록 합니다. SQLite, FAISS, Redis 등 여러 저장소 백엔드를 지원하며, 임베딩, 요약, 검색을 위한 구성 가능한 파이프라인을 제공합니다. 개발자는 기존 에이전트 프레임워크에 쉽게 통합하여 일관성과 장기 참여를 강화할 수 있습니다.

GenAI Processors는 재사용 가능하고 구성 가능한 프로세서 라이브러리를 제공하여 엔드 투 엔드 생성 AI 워크플로우를 구축합니다. 문서를 수집하고 의미 단위로 나누며 임베딩을 생성, 저장 및 검색하는 것뿐만 아니라 검색 전략을 적용하고 동적으로 프롬프트를 생성하여 대형 언어 모델 호출을 할 수 있습니다. 플러그 앤 플레이 디자인 덕분에 맞춤형 처리 단계 확장, Google Cloud 서비스 또는 외부 벡터 저장소와의 원활한 통합, 질문 답변, 요약, 지식 검색과 같은 복잡한 RAG 파이프라인 오케스트레이션이 용이합니다.