Crawlr는 오픈소스 CLI AI 에이전트로, 웹 기반 정보를 구조화된 지식 베이스로 효율적 수집하는 과정을 간소화합니다. OpenAI의 GPT-3.5/4 모델을 사용해 지정 URL을 크롤링하고, 원시 HTML을 의미 있는 텍스트 섹션으로 정리·분할하며, 간결한 요약을 생성하고, 의미론적 검색에 적합한 벡터 임베딩을 만듭니다. 크롤링 깊이, 도메인 필터, 블록 크기 등을 조정할 수 있어 사용자 프로젝트에 맞게 수집 파이프라인을 맞춤화할 수 있습니다. 링크 발견 및 콘텐츠 처리를 자동화하여 수작업 데이터 수집을 줄이고 FAQ, 챗봇, 연구 아카이브 구축을 가속화하며, Pinecone, Weaviate, 또는 로컬 SQLite와 원활히 연동됩니다. 모듈식 설계로 맞춤형 파서와 임베딩 제공자를 쉽게 확장할 수 있습니다.

Agentic Shared Memory는 AI 기반 멀티 에이전트 환경에서 컨텍스트 데이터를 관리하기 위한 강력한 솔루션을 제공합니다. 벡터 임베딩과 효율적인 데이터 구조를 활용하여 에이전트의 관찰, 결정 및 상태 전이를 저장하며, 원활한 컨텍스트 검색과 업데이트를 가능하게 합니다. 에이전트는 공유 메모리를 조회하여 과거 상호작용이나 글로벌 지식을 접근할 수 있으며, 일관된 행동과 협력 문제 해결을 촉진합니다. 이 라이브러리는 LangChain과 같은 인기 AI 프레임워크 또는 맞춤형 에이전트 오케스트레이터와의 플러그 앤 플레이 통합을 지원하며, 사용자 정의 유지 정책, 컨텍스트 윈도우 크기, 검색 기능을 제공합니다. 메모리 관리를 추상화하여 개발자는 에이전트 로직에 집중하면서 분산 또는 중앙 집중 배포 환경에서도 확장 가능하고 일관된 메모리 처리를 보장할 수 있습니다. 이는 시스템 전체 성능 향상, 중복 계산 감소, 에이전트 지능 향상에 기여합니다.