Web Content Retrieval MCP

0
0 評論
2 Stars
一個MCP伺服器,讓LLM能夠執行HTTP請求,獲取網頁內容並將其轉換為Markdown。支持自定義標頭、用戶代理及所有主要HTTP方法,便於靈活的內容提取。
新增日期:
創建者:
Apr 08 2025
Web Content Retrieval MCP

Web Content Retrieval MCP

0 評論
2
0
Web Content Retrieval MCP
一個MCP伺服器,讓LLM能夠執行HTTP請求,獲取網頁內容並將其轉換為Markdown。支持自定義標頭、用戶代理及所有主要HTTP方法,便於靈活的內容提取。
新增日期:
Created by:
Apr 08 2025
coucya
精選

Web Content Retrieval MCP 是什麼?

這個MCP(多通道協議)伺服器允許大型語言模型(LLM)通過各種HTTP方法獲取、處理和分析網頁內容。它支持將網頁轉換為Markdown,過濾不必要的標籤,並自定義請求標頭和用戶代理以便精確訪問內容。功能包括完全支持GET、POST、PUT、DELETE和PATCH方法,訪問完整的HTTP響應標頭,並提供來自原始HTML或經清理的內容的選擇。該設計旨在無縫集成到需要自動提取網頁內容、數據收集和內容分析的應用中,通過提供結構化和可自定義的HTTP請求功能來增強LLM的能力。

誰會使用 Web Content Retrieval MCP?

  • 開發者
  • 數據分析師
  • 內容爬取者
  • AI/ML工程師
  • 網頁內容管理員

如何使用 Web Content Retrieval MCP?

  • 步驟1:從GitHub複製代碼庫
  • 步驟2:使用pip安裝依賴包
  • 步驟3:根據設置配置MCP伺服器
  • 步驟4:使用Python啟動MCP伺服器
  • 步驟5:使用HTTP方法(fetch、get、post、put、delete)來檢索或發送網頁內容

Web Content Retrieval MCP 的核心特徵與益處

主要功能
  • 以HTML或Markdown輸出獲取網頁內容
  • 執行HTTP GET請求
  • 執行HTTP POST請求
  • 執行HTTP PUT請求
  • 執行HTTP DELETE請求
  • 自定義請求標頭
  • 設置用戶代理策略
  • 訪問HTTP響應標頭
優點
  • 標頭提高請求的準確性
  • 適合自動化和AI集成

Web Content Retrieval MCP 的主要使用案例與應用

  • 用於研究的自動網頁爬取
  • 用於數據分析的內容提取
  • 網頁監控和更新
  • 構建自定義內容聚合器
  • 用于AI模型的訓練數據收集

Web Content Retrieval MCP 的常見問答

開發者

  • coucya

您可能也喜歡:

開發者工具

一款用於管理伺服器與客戶端互動的桌面應用程式,具備全面的功能。
一個為 Eagle 提供的 Model Context Protocol 伺服器,負責管理 Eagle 應用程式和數據來源之間的數據交換。
一個基於聊天的客戶端,直接在聊天環境中集成和使用各種 MCP 工具,以提高生產力。
一個 Docker 映像,承載多個 MCP 伺服器,透過整合 supergateway 以統一入口點訪問。
透過 MCP 協議提供 YNAB 帳戶餘額、交易及交易創建的訪問權限。
一個快速可擴展的MCP伺服器,用於管理多客戶的即時Zerodha交易操作。
一個遠端SSH客戶端,方便安全、基於代理訪問MCP伺服器,以便利用遠端工具。
一個基於Spring的MCP伺服器,整合了AI能力以管理和處理Minecraft模組的通信協議。
一款具有基本聊天功能的極簡MCP客戶端,支持多種模型和上下文交互。
一個安全的MCP伺服器,讓AI代理與身份驗證器應用程式互動以獲取2FA代碼和密碼。

研究與數據

一個支持模型上下文協議的伺服器實現,整合CRIC的工業AI能力。
提供瓦倫西亞市即時交通、空氣質量、天氣及單車共享數據於一個統一的平台上。
一個展示通過MCP工具和Tambo進行Supabase集成的React應用程序,註冊UI組件。
整合 Brave Search API 用於網頁搜尋的 MCP 客戶端,利用 MCP 協議進行高效通信。
一個能夠實現 Umbraco CMS 與外部應用程式之間無縫通訊的協定伺服器。
NOL 整合了 LangChain 和 Open Router,以使用 Next.js 創建一個多客戶端的 MCP 伺服器。
將LLM連接到Firebolt數據倉庫,以進行自主查詢、數據訪問和洞察生成。
一個用於將AI代理連接到MCP伺服器的客戶端框架,實現工具的發現和集成。
Spring Link 促進在統一環境中有效地鏈接和管理多個 Spring Boot 應用程序。
一個開源客戶端,用於與多個MCP伺服器互動,為Claude提供無縫的工具訪問。