Crawlr es un agente de IA de código abierto en línea de comandos diseñado para agilizar el proceso de incorporación de información basada en la web en bases de conocimiento estructuradas. Utilizando modelos GPT-3.5/4 de OpenAI, recorre URLs especificados, limpia y segmenta HTML bruto en segmentos de texto significativos, genera resúmenes concisos y crea embebidos en vectores para una búsqueda semántica eficiente. La herramienta soporta configuración de profundidad de rastreo, filtros de dominio y tamaños de segmento, permitiendo a los usuarios adaptar las pipelines de ingestión a las necesidades del proyecto. Al automatizar el descubrimiento de enlaces y el procesamiento del contenido, Crawlr reduce esfuerzos manuales, acelera la creación de sistemas FAQ, chatbots y archivos de investigación, e integra sin problemas con bases de datos vectoriales como Pinecone, Weaviate o instalaciones locales de SQLite. Su diseño modular permite extender fácilmente con analizadores y proveedores de embebidos personalizados.

DocGPT está diseñado para simplificar la extracción de información y las preguntas y respuestas a partir de documentos, proporcionando una interfaz de conversación fluida. Los usuarios pueden subir documentos en formatos PDF, Word o PowerPoint, que luego son procesados mediante parsers de texto. El contenido se divide en segmentos y se embebe con modelos de embeddings de OpenAI, almacenándose en una base de datos vectorial como FAISS o Pinecone. Cuando un usuario realiza una consulta, DocGPT recupera los fragmentos de texto más relevantes mediante búsqueda por similitud y usa ChatGPT para generar respuestas precisas y contextualizadas. Incluye chat interactivo, resumen de documentos, prompts personalizables para necesidades específicas del dominio, y está construido en Python con una interfaz Streamlit para facilitar su despliegue y extensión.