Crawlr est un agent IA open-source en CLI conçu pour rationaliser le processus d'insertion d'informations en ligne dans des bases de connaissances structurées. Utilisant les modèles GPT-3.5/4 d'OpenAI, il parcourt les URL spécifiées, nettoie et divise le HTML brut en segments de texte significatifs, génère des résumés concis et crée des embeddings vecteurs pour une recherche sémantique efficace. L'outil prend en charge la configuration de la profondeur d'exploration, des filtres de domaine et de la taille des chunks, permettant aux utilisateurs d'adapter les pipelines d'insertion aux besoins du projet. En automatisant la découverte de liens et le traitement du contenu, Crawlr réduit l'effort de collecte manuelle de données, accélère la création de FAQ, chatbots et archives de recherche, et s'intègre de manière transparente avec des bases de données vectorielles comme Pinecone, Weaviate ou SQLite local. Sa conception modulaire permet une extension facile pour des analyseurs personnalisés et des fournisseurs d'embeddings.

DocGPT vise à simplifier l'extraction d'informations et les questions-réponses à partir de documents en fournissant une interface conversationnelle fluide. Les utilisateurs peuvent télécharger des documents en formats PDF, Word ou PowerPoint, qui sont ensuite traités par des parsers de texte. Le contenu est découpé en segments et embedded avec les modèles d'embedding d'OpenAI, puis stocké dans une base de données vectorielle comme FAISS ou Pinecone. Lorsqu’un utilisateur soumet une requête, DocGPT récupère les segments de texte les plus pertinents via une recherche par similarité et utilise ChatGPT pour générer des réponses précises et contextualisées. Il propose un chat interactif, une synthèse de documents, des invites personnalisables pour des besoins spécifiques au domaine, et est construit en Python avec une interface Streamlit pour un déploiement et une extension faciles.