Webcrawl-MCP

0
0 評論
0 Stars
Webcrawl-MCP提供一個網頁爬取的協議服務器,使客戶端能夠通過MCP調用網頁爬蟲,支持流式HTTP和SSE傳輸,確保與符合MCP的應用程序無縫集成。
新增日期:
創建者:
Webcrawl-MCP

Webcrawl-MCP

0 評論
0
0
Webcrawl-MCP
Webcrawl-MCP提供一個網頁爬取的協議服務器,使客戶端能夠通過MCP調用網頁爬蟲,支持流式HTTP和SSE傳輸,確保與符合MCP的應用程序無縫集成。
新增日期:
Created by:
May 04 2025
SteffenHebestreit
精選

Webcrawl-MCP 是什麼?

此MCP服務器提供網頁爬取功能,將爬蟲作為與模型上下文協議(MCP)兼容的工具進行公開。它允許客戶端通過標準化的JSON-RPC方法執行網頁爬取任務,支持現代流式HTTP和傳統的SSE通信方法。該系統與MCP客戶端緊密集成,能夠高效地進行爬取操作,例如獲取頁面內容、提取鏈接和導航網頁結構。它具有集中配置、可擴展架構,並輕鬆定制以滿足不同的網頁爬取需求,非常適用於研究、數據抓取或自動化的網頁分析環境。

誰會使用 Webcrawl-MCP?

  • 開發者
  • 研究人員
  • 數據科學家
  • 網頁抓取專業人士
  • MCP客戶端集成者

如何使用 Webcrawl-MCP?

  • 第1步:克隆庫並根據需要設置環境變量。
  • 第2步:使用Docker或本地設置運行MCP服務器。
  • 第3步:使用API或MCP流式HTTP端點發送JSON-RPC請求。
  • 第4步:調用'mcp.tool.use',使用'crawl'或其他爬蟲函數,提供目標URL。
  • 第5步:獲取爬取的數據或提取結果以進行處理或分析。

Webcrawl-MCP 的核心特徵與益處

主要功能
  • 通過MCP協議進行網頁爬取
  • 支持流式HTTP(可流式傳輸)和SSE的JSON-RPC
  • 將爬蟲作為MCP工具進行公開
  • 可配置的爬取參數
  • 集中式服務器架構
優點
  • 與MCP客戶端的標準化通信
  • 靈活且可擴展的設計
  • 支持流式的高效網頁爬取
  • 輕鬆整合到現有工作流程中
  • 支持自動化和大規模數據提取

Webcrawl-MCP 的主要使用案例與應用

  • 用於研究的自動化網頁數據收集
  • 將網頁爬取融入AI工作流
  • 用於分析的數據抓取
  • 網頁監控與內容分析

Webcrawl-MCP 的常見問答

開發者

  • SteffenHebestreit

您可能也喜歡:

開發者工具

一款用於管理伺服器與客戶端互動的桌面應用程式,具備全面的功能。
一個為 Eagle 提供的 Model Context Protocol 伺服器,負責管理 Eagle 應用程式和數據來源之間的數據交換。
一個基於聊天的客戶端,直接在聊天環境中集成和使用各種 MCP 工具,以提高生產力。
一個 Docker 映像,承載多個 MCP 伺服器,透過整合 supergateway 以統一入口點訪問。
透過 MCP 協議提供 YNAB 帳戶餘額、交易及交易創建的訪問權限。
一個快速可擴展的MCP伺服器,用於管理多客戶的即時Zerodha交易操作。
一個遠端SSH客戶端,方便安全、基於代理訪問MCP伺服器,以便利用遠端工具。
一個基於Spring的MCP伺服器,整合了AI能力以管理和處理Minecraft模組的通信協議。
一款具有基本聊天功能的極簡MCP客戶端,支持多種模型和上下文交互。
一個安全的MCP伺服器,讓AI代理與身份驗證器應用程式互動以獲取2FA代碼和密碼。

研究與數據

一個支持模型上下文協議的伺服器實現,整合CRIC的工業AI能力。
提供瓦倫西亞市即時交通、空氣質量、天氣及單車共享數據於一個統一的平台上。
一個展示通過MCP工具和Tambo進行Supabase集成的React應用程序,註冊UI組件。
整合 Brave Search API 用於網頁搜尋的 MCP 客戶端,利用 MCP 協議進行高效通信。
一個能夠實現 Umbraco CMS 與外部應用程式之間無縫通訊的協定伺服器。
NOL 整合了 LangChain 和 Open Router,以使用 Next.js 創建一個多客戶端的 MCP 伺服器。
將LLM連接到Firebolt數據倉庫,以進行自主查詢、數據訪問和洞察生成。
一個用於將AI代理連接到MCP伺服器的客戶端框架,實現工具的發現和集成。
Spring Link 促進在統一環境中有效地鏈接和管理多個 Spring Boot 應用程序。
一個開源客戶端,用於與多個MCP伺服器互動,為Claude提供無縫的工具訪問。

知識與記憶

基於 Next.js 的聊天介面,連接到 MCP 伺服器,具備工具調用和風格化 UI。
基於Spring Boot的MCP客戶端,演示如何在穩健的應用程序中處理聊天請求和回應。
提供AI推論和知識管理的REST API的Spring Boot應用程式,並集成語言模型。
一個執行 AppleScript 命令的伺服器,提供對 macOS 自動化的全面控制,遠程操作。
一個用於管理備忘錄的 MCP 伺服器,具有在 Claude Desktop 中查看、添加、刪除和搜索備忘錄的功能。
從 deepwiki.com 獲取最新知識,將頁面轉換為 Markdown,並提供結構化或單一文檔輸出。
一個客戶端庫,通過本地設置實現與Notion MCP服務器的基於SSE的實時交互。
透過MCP標準存儲和檢索上下文信息,為大型語言模型提供長期記憶。
一個簡單的客戶端,用於高效管理和構建 MCP(模型上下文協議)通信。
一個通過自然語言查詢Solana交易的伺服器,使用Solscan API,簡化與區塊鏈的互動。