Crawlr ist eine quelloffene CLI-KI-Agent, die den Prozess des Einpassens webbasierter Informationen in strukturierte Wissensbasen optimieren soll. Mit OpenAI's GPT-3.5/4-Modellen durchquert es angegebene URLs, bereinigt und teilt rohes HTML in sinnvolle Textabschnitte, erstellt kurze Zusammenfassungen und erzeugt Vektor-Embeddings für effiziente semantische Suche. Das Tool unterstützt die Konfiguration von Crawltiefe, Domänenfiltern und Chunk-Größen, um die Ingestionspipelines an Projektanforderungen anzupassen. Automatisiertes Link-Discovery und Inhaltsverarbeitung verringern manuellen Aufwand, beschleunigen die Erstellung von FAQs, Chatbots und Forschungsarchiven und integrieren nahtlos mit Vektordatenbanken wie Pinecone, Weaviate oder lokalen SQLite-Setups. Das modulare Design ermöglicht eine einfache Erweiterung für benutzerdefinierte Parser und Embedding-Anbieter.

Website2GPT ermöglicht es Benutzern, den gesamten Inhalt ihrer Website in saubere, strukturierte Textdateien zu transformieren. Dieses Tool ist so konzipiert, dass es mit JavaScript-gerenderten Inhalten umgehen kann und eine intelligente Inhaltsextraktion mit integrierter Ratenbegrenzung bietet. Benutzer können zwischen einzelnen Dateien oder einem einzelnen zusammengefassten Format wählen, sodass die Ausgabe für das GPT-Training oder die Erstellung von Wissensdatenbanken bereit ist. Der optimierte Prozess stellt sicher, dass die extrahierten Daten sauber und formatiert sind, was die Integration in verschiedene Anwendungen und Modelle erleichtert.