Crawlr 是一個開源的 CLI AI 代理，旨在簡化將網路資訊整合到結構化知識庫的過程。它利用 OpenAI 的 GPT-3.5/4 模型，遍歷指定的網址，清理並拆分原始 HTML 為有意義的文字段落，產生概要並建立向量嵌入以進行高效的語義搜尋。此工具支援設定爬取深度、域名篩選和槽數大小，讓用戶能根據專案需求調整輸入流程。透過自動化鏈結探索與內容處理，Crawlr 降低手動資料收集的工作量，加速 FAQ、聊天機器人和研究資料庫的建立，並能與 Pinecone、Weaviate 或本地 SQLite 等向量資料庫無縫整合。模組化設計方便擴展自定義解析器和嵌入提供者。

DocGPT旨在通過提供無縫的對話界面，簡化從文件中提取信息和進行問答的過程。用戶可以上傳PDF、Word或PPT格式的文件，這些文件將通過文本解析器處理。內容被分塊並用OpenAI的嵌入模型進行嵌入，存儲在FAISS或Pinecone等向量數據庫中。用戶提交查詢時，系統通過相似度搜索檢索最相關的文本片段，並利用ChatGPT生成準確且具有上下文的回答。系統支持交互式聊天、文件摘要、可定制的提示，並基於Python和Streamlit界面，方便部署和擴展。