crawlforge-mcp

CrawlForge MCP выдаёт ассистенту 27 инструментов для скрапинга и обхода сайтов

От сообществаРаботаетБез входаГлобальныйБесплатноТолько чтение

Что умеет

  • Извлекать текст, ссылки и метаданные с веб-страниц
  • Обходить сайты целиком и строить карту страниц
  • Собирать структурированные данные пакетно по списку URL
  • Проводить глубокое исследование темы с поиском по вебу
  • Отслеживать изменения контента и обходить антибот-защиту

Какие данные видит

Ассистент запрашивает публично доступные страницы и документы через сервер; доступ ограничен кредитным лимитом аккаунта.

Нужен ли аккаунт

Не нужен: сервер работает без входа

CrawlForge MCP — сервер для сбора данных с веб-страниц, извлечения структурированной информации, глубокого исследования тем и обхода антибот-защиты. Ассистент в Claude или Cursor может скачивать страницы, обходить сайты целиком, обрабатывать документы и следить за изменениями контента. Работает по кредитной модели с бесплатным тарифом.

Как подключить

Как подключить crawlforge-mcp к Claude

Адрес сервера, который нужно вставить в настройках Claude:

https://crawlforge-mcp--crawlforgedev.run.tools

  1. Откройте Claude (сайт claude.ai или приложение для компьютера).
  2. Перейдите в Настройки → Коннекторы (в английском интерфейсе: Settings → Connectors).
  3. Нажмите Добавить пользовательский коннектор (Add custom connector).
  4. Вставьте адрес сервера, скопированный ниже, в поле URL удалённого MCP-сервера и нажмите Добавить.
  5. В чате нажмите + → Коннекторы и включите новый коннектор.

Пользовательские коннекторы доступны на тарифах Free, Pro, Max, Team и Enterprise. На Free можно добавить только один. В Team и Enterprise коннектор сначала добавляет владелец организации в Настройки организации → Коннекторы.

Авторизация

После нажатия Добавить откроется окно входа в сервис. Войдите под своим аккаунтом и подтвердите доступ. Пароль Claude не видит.

Как подключить crawlforge-mcp к ChatGPT

Адрес сервера, который нужно вставить в настройках ChatGPT:

https://crawlforge-mcp--crawlforgedev.run.tools

  1. Откройте ChatGPT в браузере (chatgpt.com). Нужен тариф Plus, Pro, Business, Enterprise или Edu.
  2. Один раз включите режим разработчика: Настройки → Приложения → Дополнительные настройки → Режим разработчика (Settings → Apps → Advanced settings → Developer mode).
  3. Откройте Настройки → Коннекторы и нажмите Создать (Create).
  4. Заполните форму: Название (любое), Описание (одна фраза, что делает сервис), URL MCP-сервера (скопируйте ниже).
  5. В поле Аутентификация выберите OAuth, если сервис требует вход, иначе Нет. Нажмите Создать.
  6. В новом чате откройте + → Приложения/Коннекторы и включите коннектор.

Название раздела у OpenAI менялось (Connectors → Apps/Plugins). Если пункт называется иначе, ищите «режим разработчика» в настройках. В рабочих пространствах Business/Enterprise администратор должен разрешить пользовательские коннекторы.

Авторизация

При первом использовании ChatGPT откроет окно входа в сервис. Войдите и подтвердите доступ.

Как подключить crawlforge-mcp к Cursor

Адрес сервера, который нужно вставить в настройках Cursor:

https://crawlforge-mcp--crawlforgedev.run.tools

Быстрый способ: нажмите кнопку Открыть в Cursor ниже, Cursor сам предложит добавить сервер.

Вручную:

  1. В Cursor откройте Settings → Cursor Settings → MCP и нажмите Add new global MCP server.
  2. Вставьте JSON, скопированный ниже, в открывшийся файл ~/.cursor/mcp.json (для одного проекта: .cursor/mcp.json в корне проекта).
  3. Сохраните файл. Сервер появится в списке MCP; при необходимости пройдите авторизацию по кнопке рядом с ним.

Авторизация

Если сервис требует вход, рядом с сервером в списке MCP появится кнопка авторизации.

Список инструментов сервера (20)

Технические названия из tools/list. Нужны только разработчикам.

fetch_urlFetch content from a URL with optional headers and timeout
extract_textExtract clean text content from a webpage
extract_linksExtract all links from a webpage with optional filtering
extract_metadataExtract metadata from a webpage (title, description, keywords, etc.)
scrape_structuredExtract structured data from a webpage using CSS selectors
search_webSearch the web using Google Search API (proxied through CrawlForge)
crawl_deepCrawl websites deeply using breadth-first search
map_siteDiscover and map website structure
extract_contentExtract and analyze main content from web pages with enhanced readability detection
process_documentProcess documents from multiple sources and formats including PDFs and web pages
summarize_contentGenerate intelligent summaries of text content with configurable options
analyze_contentPerform comprehensive content analysis including language detection and topic extraction
extract_structuredExtract structured data from a webpage using LLM-powered analysis and a JSON Schema. Falls back to CSS selector extraction when no LLM provider is configured.
batch_scrapeProcess multiple URLs simultaneously with support for async job management and webhook notifications
scrape_with_actionsExecute browser action chains before scraping content, with form auto-fill and intermediate state capture
deep_researchConduct comprehensive multi-stage research with intelligent query expansion, source verification, and conflict detection
track_changesEnhanced content change tracking with baseline capture, comparison, scheduled monitoring, advanced comparison engine, alert system, and historical analysis
generate_llms_txtAnalyze websites and generate standard-compliant LLMs.txt and LLMs-full.txt files defining AI model interaction guidelines
stealth_modeAdvanced anti-detection browser management with stealth features, fingerprint randomization, and human behavior simulation
localizationMulti-language and geo-location management with country-specific settings, browser locale emulation, timezone spoofing, and geo-blocked content handling