Crawlr est un agent IA open-source en CLI conçu pour rationaliser le processus d'insertion d'informations en ligne dans des bases de connaissances structurées. Utilisant les modèles GPT-3.5/4 d'OpenAI, il parcourt les URL spécifiées, nettoie et divise le HTML brut en segments de texte significatifs, génère des résumés concis et crée des embeddings vecteurs pour une recherche sémantique efficace. L'outil prend en charge la configuration de la profondeur d'exploration, des filtres de domaine et de la taille des chunks, permettant aux utilisateurs d'adapter les pipelines d'insertion aux besoins du projet. En automatisant la découverte de liens et le traitement du contenu, Crawlr réduit l'effort de collecte manuelle de données, accélère la création de FAQ, chatbots et archives de recherche, et s'intègre de manière transparente avec des bases de données vectorielles comme Pinecone, Weaviate ou SQLite local. Sa conception modulaire permet une extension facile pour des analyseurs personnalisés et des fournisseurs d'embeddings.

Agentic Shared Memory fournit une solution robuste pour la gestion des données contextuelles dans des environnements multi-agents pilotés par l’IA. En utilisant des vecteurs d’intégration et des structures de données efficaces, il stocke des observations, décisions et transitions d’état des agents, permettant un accès et une mise à jour transparents du contexte. Les agents peuvent interroger la mémoire partagée pour accéder à des interactions passées ou à des connaissances globales, favorisant un comportement cohérent et une résolution collaborative de problèmes. La bibliothèque supporte une intégration plug-and-play avec des cadres IA populaires comme LangChain ou des orchestrateurs d’agents personnalisés, offrant des stratégies de rétention personnalisables, des fenêtres de contexte et des fonctions de recherche. En abstraisant la gestion de la mémoire, les développeurs peuvent se concentrer sur la logique de l’agent tout en assurant une gestion scalable et cohérente de la mémoire dans des déploiements distribués ou centralisés. Cela améliore la performance globale du système, réduit les calculs redondants et renforce l’intelligence des agents au fil du temps.