Deep-Research-With-Web-Scraping-by-LLM-And-AI-Agent는 웹 스크래핑 기술과 대형 언어 모델의 능력을 결합하여 연구 워크플로우를 자동화하도록 설계되었습니다. 사용자들은 대상 도메인을 정하고, URL 패턴이나 검색 쿼리를 지정하며, BeautifulSoup 또는 유사 라이브러리를 사용해 분석 규칙을 설정합니다. 이 프레임워크는 HTTP 요청을 조정하여 원시 텍스트, 표 또는 메타데이터를 추출 한 후, 추출한 데이터를 요약, 토픽 클러스터링, Q&A 또는 데이터 정규화와 같은 작업을 위해 LLM에 입력합니다. 반복 루프를 지원하여, LLM 출력이 후속 스크래핑 작업에 반영되어 관련 소스에 대한 깊이 있는 분석이 가능합니다. 내장 캐시, 오류 처리, 설정 가능한 프로프트 템플릿을 갖추고 있어, 학술 논문 리뷰, 경쟁 정보 수집, 시장 조사 자동화 등에 적합합니다.

Virtual Scientists V2는 과학 연구에 특화된 모듈식 AI 에이전트 프레임워크입니다. 이 프레임워크는 Domain-specific knowledge와 도구 통합이 갖춰진 화학자, 물리학자, 생물학자, 데이터 과학자와 같은 다수의 가상 과학자를 정의합니다. 에이전트들은 LangChain을 이용하여 Semantic Scholar, ArXiv, 웹 검색과 같은 소스에 API 호출을 조율하며, 문헌 자동 검색, 맥락 분석, 데이터 추출을 가능하게 합니다. 사용자는 연구 목적을 지정하여 태스크를 스크립트화하며, 에이전트는 논문을 수집하고, 방법론과 결과를 요약하며, 실험 프로토콜을 제안하고, 가설을 생성하며, 구조화된 보고서를 작성합니다. 이 프레임워크는 커스터마이징 가능한 플러그인과 워크플로를 지원하여 확장성을 높입니다. 반복되는 연구 태스크를 자동화함으로써 Virtual Scientists V2는 인사이트 생성 속도를 높이고, 멀티디서플리너리 프로젝트의 수작업을 줄입니다.

Agent Script는 대규모 언어 모델에 선언적 스크립팅 레이어를 제공하여 YAML 또는 JSON 스크립트를 작성해 에이전트 워크플로우, 도구 호출, 메모리 사용을 정의할 수 있습니다. OpenAI, 로컬 LLM 또는 기타 제공자를 플러그인하고, 외부 API를 도구로 연결하며, 장기 메모리 백엔드를 구성할 수 있습니다. 프레임워크는 맥락 관리, 비동기 실행, 상세 로그를 기본 제공하며, 적은 코드로 챗봇, RPA 워크플로우, 데이터 추출 에이전트 또는 사용자 정의 제어 루프의 프로토타입을 빠르게 만들 수 있어 AI 기반 자동화의 구축, 테스트, 배포를 용이하게 합니다.