Deep-Research-With-Web-Scraping-by-LLM-And-AI-Agent предназначен для автоматизации полного рабочего процесса исследований, объединяя приемы веб-скрейпинга с возможностями больших языковых моделей. Пользователи задают целевые области, определяют шаблоны URL или поисковые запросы и устанавливают правила парсинга с помощью BeautifulSoup или аналогичных библиотек. Текущий фреймворк управляет HTTP-запросами для извлечения исходного текста, таблиц или метаданных, а затем передает содержимое в LLM для задач, таких как суммирование, кластеризация тем, Q&A или нормализация данных. Поддерживает итерационные циклы, когда выходные данные LLM направляют последующие задачи скрейпинга, что позволяет осуществлять глубокий анализ связанных источников. Встроенное кеширование, обработка ошибок и настраиваемые шаблоны подсказок делают этот агент идеальным для обзоров научной литературы, конкурентной разведки и автоматизации рыночных исследований.
