Crawlr ist eine quelloffene CLI-KI-Agent, die den Prozess des Einpassens webbasierter Informationen in strukturierte Wissensbasen optimieren soll. Mit OpenAI's GPT-3.5/4-Modellen durchquert es angegebene URLs, bereinigt und teilt rohes HTML in sinnvolle Textabschnitte, erstellt kurze Zusammenfassungen und erzeugt Vektor-Embeddings für effiziente semantische Suche. Das Tool unterstützt die Konfiguration von Crawltiefe, Domänenfiltern und Chunk-Größen, um die Ingestionspipelines an Projektanforderungen anzupassen. Automatisiertes Link-Discovery und Inhaltsverarbeitung verringern manuellen Aufwand, beschleunigen die Erstellung von FAQs, Chatbots und Forschungsarchiven und integrieren nahtlos mit Vektordatenbanken wie Pinecone, Weaviate oder lokalen SQLite-Setups. Das modulare Design ermöglicht eine einfache Erweiterung für benutzerdefinierte Parser und Embedding-Anbieter.

DocGPT ist darauf ausgelegt, die Informationsgewinnung und Q&A aus Dokumenten zu vereinfachen, indem eine nahtlose Gesprächsschnittstelle bereitgestellt wird. Benutzer können Dokumente im PDF-, Word- oder PowerPoint-Format hochladen, die dann mit Textparsers verarbeitet werden. Der Inhalt wird in Abschnitte unterteilt und mit OpenAI-Einbettungsmodellen eingebettet, in einer Vektordatenbank wie FAISS oder Pinecone gespeichert. Wenn ein Benutzer eine Anfrage stellt, sucht DocGPT die relevantesten Textteile durch Ähnlichkeitssearch und nutzt ChatGPT, um genaue, kontextbezogene Antworten zu generieren. Es bietet interaktive Chats, Dokumentenzusammenfassung, anpassbare Prompts für domänenspezifische Anforderungen und basiert auf Python mit einer Streamlit-Oberfläche für einfache Implementierung und Erweiterung.