web-scraper

10 pay-per-call web tools: markdown, CSS scrape, links, crawl, screenshot, PDF, browser.

От сообществаСбоиБез входаГлобальныйБесплатноТолько чтение

Что умеет

    Какие данные видит

    Нужен ли аккаунт

    Не нужен: сервер работает без входа

    10 pay-per-call web tools: markdown, CSS scrape, links, crawl, screenshot, PDF, browser.

    Как подключить

    Как подключить web-scraper к Claude

    Адрес сервера, который нужно вставить в настройках Claude:

    https://api.agishub.com/mcp/web

    1. Откройте Claude (сайт claude.ai или приложение для компьютера).
    2. Перейдите в Настройки → Коннекторы (в английском интерфейсе: Settings → Connectors).
    3. Нажмите Добавить пользовательский коннектор (Add custom connector).
    4. Вставьте адрес сервера, скопированный ниже, в поле URL удалённого MCP-сервера и нажмите Добавить.
    5. В чате нажмите + → Коннекторы и включите новый коннектор.

    Пользовательские коннекторы доступны на тарифах Free, Pro, Max, Team и Enterprise. На Free можно добавить только один. В Team и Enterprise коннектор сначала добавляет владелец организации в Настройки организации → Коннекторы.

    Авторизация

    После нажатия Добавить откроется окно входа в сервис. Войдите под своим аккаунтом и подтвердите доступ. Пароль Claude не видит.

    Как подключить web-scraper к ChatGPT

    Адрес сервера, который нужно вставить в настройках ChatGPT:

    https://api.agishub.com/mcp/web

    1. Откройте ChatGPT в браузере (chatgpt.com). Нужен тариф Plus, Pro, Business, Enterprise или Edu.
    2. Один раз включите режим разработчика: Настройки → Приложения → Дополнительные настройки → Режим разработчика (Settings → Apps → Advanced settings → Developer mode).
    3. Откройте Настройки → Коннекторы и нажмите Создать (Create).
    4. Заполните форму: Название (любое), Описание (одна фраза, что делает сервис), URL MCP-сервера (скопируйте ниже).
    5. В поле Аутентификация выберите OAuth, если сервис требует вход, иначе Нет. Нажмите Создать.
    6. В новом чате откройте + → Приложения/Коннекторы и включите коннектор.

    Название раздела у OpenAI менялось (Connectors → Apps/Plugins). Если пункт называется иначе, ищите «режим разработчика» в настройках. В рабочих пространствах Business/Enterprise администратор должен разрешить пользовательские коннекторы.

    Авторизация

    При первом использовании ChatGPT откроет окно входа в сервис. Войдите и подтвердите доступ.

    Как подключить web-scraper к Cursor

    Адрес сервера, который нужно вставить в настройках Cursor:

    https://api.agishub.com/mcp/web

    Быстрый способ: нажмите кнопку Открыть в Cursor ниже, Cursor сам предложит добавить сервер.

    Вручную:

    1. В Cursor откройте Settings → Cursor Settings → MCP и нажмите Add new global MCP server.
    2. Вставьте JSON, скопированный ниже, в открывшийся файл ~/.cursor/mcp.json (для одного проекта: .cursor/mcp.json в корне проекта).
    3. Сохраните файл. Сервер появится в списке MCP; при необходимости пройдите авторизацию по кнопке рядом с ним.

    Авторизация

    Если сервис требует вход, рядом с сервером в списке MCP появится кнопка авторизации.

    Список инструментов сервера (11)

    Технические названия из tools/list. Нужны только разработчикам.

    extractFetch any public web page and return its main content as clean, token-efficient Markdown (title, description, headings, links, lists). Set render:true to execute JavaScript first for single-page apps or JS-heavy pages that would otherwise come back empty. Built for RAG and for agents that need to read the contents of a URL.
    scrapeExtract specific elements from a JavaScript-rendered page by CSS selector. Give a list of selectors (e.g. 'h1', '.price', 'a.product') and get back the text and attributes of every match. Backed by a headless browser, so it works on SPAs and JS-heavy pages.
    linksReturn every hyperlink on a JavaScript-rendered page as a list of absolute URLs, with options to keep only visible links or only same-site links. Backed by a headless browser. Use it to map a site or seed a crawler.
    extract_structuredAI-powered structured extraction: give a URL plus a natural-language prompt and/or a JSON Schema, and get back clean structured JSON (e.g. product name, price, rating). Renders the page in a headless browser first, so it works on SPAs.
    snapshotCapture several representations of a page in one call — rendered HTML plus a PNG screenshot by default, and optionally Markdown and the accessibility tree. Backed by a headless browser. Saves round-trips when an agent needs both the content and a visual of a page.
    browserDrive a headless browser: open a URL and run an ordered list of steps — click, type, press keys, wait, extract text and screenshot. For flows the plain scraper can't reach (logins, forms, multi-step pages).
    mapDiscover all URLs reachable from a domain within a link depth limit. Returns a flat list of absolute URLs, respects robots.txt crawl delays. Use it to map a site's structure before crawling.
    crawlCrawl multiple pages of a site, respecting link depth and domain limits. Returns async job_id; results include markdown or HTML per page. Use it to fetch and process many pages of content at once.
    crawl_statusCheck the status of a crawl started with crawl, and retrieve its pages once finished. Free: the crawl itself was already paid for when it was queued.
    screenshotCapture a PNG screenshot of any public URL — full page or just the viewport, at a chosen size — returned base64-encoded. Backed by a headless browser.
    pdfRender a public URL or a raw HTML string into a PDF document, returned base64-encoded. Backed by a headless browser. Use for invoices, reports, receipts and any HTML-to-PDF need.