crw

Web search and web scraping for AI agents in one fast, single-binary MCP server.

От сообществаРаботаетБез входаГлобальныйБесплатноТолько чтение

Что умеет

  • Crw Scrape: Scrape one URL to markdown, HTML, or links.
  • Crw Crawl: Start an async site crawl; returns a job id to poll with crw_check_crawl_status.
  • Crw Check Crawl Status: Poll an async crawl job and retrieve its pages.

Какие данные видит

Нужен ли аккаунт

Не нужен: сервер работает без входа

Web search and web scraping for AI agents in one fast, single-binary MCP server. crw searches the web, scrapes any URL to clean markdown or HTML, maps a site's links, runs bounded recursive crawls, and extracts structured JSON from pages. Built-in anti-bot handling, JavaScript rendering, and proxy rotation recover content that a plain fetch and lighter scrapers miss. Open source (AGPL), local-first, and zero-config via npx, or use this managed cloud endpoint. A leaner, self-hostable alternative to Firecrawl and Tavily for agent web access, docs research, and structured data extraction.

Как подключить

Как подключить crw к Claude

Адрес сервера, который нужно вставить в настройках Claude:

https://crw--fastcrw.run.tools

  1. Откройте Claude (сайт claude.ai или приложение для компьютера).
  2. Перейдите в Настройки → Коннекторы (в английском интерфейсе: Settings → Connectors).
  3. Нажмите Добавить пользовательский коннектор (Add custom connector).
  4. Вставьте адрес сервера, скопированный ниже, в поле URL удалённого MCP-сервера и нажмите Добавить.
  5. В чате нажмите + → Коннекторы и включите новый коннектор.

Пользовательские коннекторы доступны на тарифах Free, Pro, Max, Team и Enterprise. На Free можно добавить только один. В Team и Enterprise коннектор сначала добавляет владелец организации в Настройки организации → Коннекторы.

Авторизация

После нажатия Добавить откроется окно входа в сервис. Войдите под своим аккаунтом и подтвердите доступ. Пароль Claude не видит.

Как подключить crw к ChatGPT

Адрес сервера, который нужно вставить в настройках ChatGPT:

https://crw--fastcrw.run.tools

  1. Откройте ChatGPT в браузере (chatgpt.com). Нужен тариф Plus, Pro, Business, Enterprise или Edu.
  2. Один раз включите режим разработчика: Настройки → Приложения → Дополнительные настройки → Режим разработчика (Settings → Apps → Advanced settings → Developer mode).
  3. Откройте Настройки → Коннекторы и нажмите Создать (Create).
  4. Заполните форму: Название (любое), Описание (одна фраза, что делает сервис), URL MCP-сервера (скопируйте ниже).
  5. В поле Аутентификация выберите OAuth, если сервис требует вход, иначе Нет. Нажмите Создать.
  6. В новом чате откройте + → Приложения/Коннекторы и включите коннектор.

Название раздела у OpenAI менялось (Connectors → Apps/Plugins). Если пункт называется иначе, ищите «режим разработчика» в настройках. В рабочих пространствах Business/Enterprise администратор должен разрешить пользовательские коннекторы.

Авторизация

При первом использовании ChatGPT откроет окно входа в сервис. Войдите и подтвердите доступ.

Как подключить crw к Cursor

Адрес сервера, который нужно вставить в настройках Cursor:

https://crw--fastcrw.run.tools

Быстрый способ: нажмите кнопку Открыть в Cursor ниже, Cursor сам предложит добавить сервер.

Вручную:

  1. В Cursor откройте Settings → Cursor Settings → MCP и нажмите Add new global MCP server.
  2. Вставьте JSON, скопированный ниже, в открывшийся файл ~/.cursor/mcp.json (для одного проекта: .cursor/mcp.json в корне проекта).
  3. Сохраните файл. Сервер появится в списке MCP; при необходимости пройдите авторизацию по кнопке рядом с ним.

Авторизация

Если сервис требует вход, рядом с сервером в списке MCP появится кнопка авторизации.

Список инструментов сервера (7)

Технические названия из tools/list. Нужны только разработчикам.

crw_scrapeScrape one URL to markdown, HTML, or links.
crw_crawlStart an async site crawl; returns a job id to poll with crw_check_crawl_status.
crw_check_crawl_statusPoll an async crawl job and retrieve its pages.
crw_mapDiscover URLs on a site via sitemap and/or a short crawl. Returns a URL list only, no page content.
crw_extractExtract structured JSON from URLs via a prompt and/or JSON schema. Returns results directly. Needs an LLM.
crw_cancel_extractRequest cancellation of an extract job. Returns the canonical status; cancelling remains non-terminal until the claimed URL settles.
crw_searchSearch the web for current information, news, facts, or docs. Use whenever the answer may depend on up-to-date or external information. Returns ranked results (url/title/description/snippet); optionally scrape each result inline.