Crawlr — это открытая CLI-агент на базе ИИ, предназначенный для упрощения процесса загрузки информации из Интернета в структурированные базы знаний. Используя модели GPT-3.5/4 OpenAI, он переходит по заданным URL, очищает и сегментирует необработанный HTML в осмысленные текстовые сегменты, генерирует краткие сводки и создает векторные внедрения для эффективного семантического поиска. Инструмент поддерживает настройку глубины обхода, фильтров по доменам и размеров сегментов, что позволяет адаптировать процессы загрузки под требования проекта. Автоматизация поиска ссылок и обработки контента снижает ручные усилия, ускоряет создание FAQ-систем, чат-ботов и исследовательских архивов, а также без проблем интегрируется с векторными базами данных, такими как Pinecone, Weaviate или локальные SQLite. Модульная архитектура позволяет легко расширять его с помощью собственных парсеров и поставщиков внедрений.

DocGPT призван упростить извлечение информации и вопросы-ответы из документов, обеспечивая бесшовный интерфейс диалога. Пользователи могут загружать документы в форматах PDF, Word или PowerPoint, которые затем обрабатываются с помощью парсеров текста. Содержимое разбивается на части и встраивается с помощью моделей embedding от OpenAI, хранясь в векторных базах данных, таких как FAISS или Pinecone. Когда пользователь задает запрос, DocGPT ищет наиболее релевантные текстовые фрагменты с помощью поиска по сходству и использует ChatGPT для генерации точных, контекстуальных ответов. В системе реализован интерактивный чат, содержание документов, настраиваемые подсказки для специфических задач, и она базируется на Python c интерфейсом Streamlit, что обеспечивает легкое разворачивание и расширение.