Crawlr는 오픈소스 CLI AI 에이전트로, 웹 기반 정보를 구조화된 지식 베이스로 효율적 수집하는 과정을 간소화합니다. OpenAI의 GPT-3.5/4 모델을 사용해 지정 URL을 크롤링하고, 원시 HTML을 의미 있는 텍스트 섹션으로 정리·분할하며, 간결한 요약을 생성하고, 의미론적 검색에 적합한 벡터 임베딩을 만듭니다. 크롤링 깊이, 도메인 필터, 블록 크기 등을 조정할 수 있어 사용자 프로젝트에 맞게 수집 파이프라인을 맞춤화할 수 있습니다. 링크 발견 및 콘텐츠 처리를 자동화하여 수작업 데이터 수집을 줄이고 FAQ, 챗봇, 연구 아카이브 구축을 가속화하며, Pinecone, Weaviate, 또는 로컬 SQLite와 원활히 연동됩니다. 모듈식 설계로 맞춤형 파서와 임베딩 제공자를 쉽게 확장할 수 있습니다.

DocGPT는 자연스러운 대화 인터페이스를 제공하여 문서에서 정보 추출과 Q&A를 간소화하도록 설계되었습니다. 사용자들은 PDF, Word, PowerPoint 형식의 문서를 업로드하며 텍스트 파서를 통해 처리됩니다. 컨텐츠는 조각으로 나뉘고 OpenAI 임베딩 모델로 임베드된 후 FAISS 또는 Pinecone과 같은 벡터 데이터베이스에 저장됩니다. 사용자가 질의를 제출하면, DocGPT는 유사성 검색으로 가장 관련성 높은 텍스트 조각을 찾아내어 ChatGPT를 활용하여 정확한 컨텍스트 기반 답변을 생성합니다. 실시간 채팅, 문서 요약, 도메인 특화 프롬프트 사용자 정의를 지원하며, Python과 Streamlit UI로 손쉽게 배포하고 확장할 수 있습니다.