rubrkit

rubrkit: аудит по рубрикам, наборы тестов и отчёты о качестве вывода AI/LLM

От сообществаРаботаетБез входаГлобальныйБесплатноТолько чтение

Что умеет

  • Запускать аудит артефактов по заданным рубрикам
  • Загружать, читать и редактировать файлы артефактов
  • Применять правки по результатам аудита
  • Хранить и восстанавливать версии файлов и бандлов
  • Конвертировать артефакты в формат rubr flow

Какие данные видит

Сервер работает без обязательной авторизации, доступ к артефактам определяется идентификатором бандла в запросе.

Нужен ли аккаунт

Не нужен: сервер работает без входа

rubrkit — MCP-native сервер для оценки качества результатов работы AI и LLM. Ассистент запускает аудит артефактов по рубрикам, читает API-документацию и OpenAPI-контракты, применяет правки по итогам аудита и ведёт версии файлов и наборов артефактов.

Как подключить

Как подключить rubrkit к Claude

Адрес сервера, который нужно вставить в настройках Claude:

https://www.rubrkit.com/api/v1/mcp

  1. Откройте Claude (сайт claude.ai или приложение для компьютера).
  2. Перейдите в Настройки → Коннекторы (в английском интерфейсе: Settings → Connectors).
  3. Нажмите Добавить пользовательский коннектор (Add custom connector).
  4. Вставьте адрес сервера, скопированный ниже, в поле URL удалённого MCP-сервера и нажмите Добавить.
  5. В чате нажмите + → Коннекторы и включите новый коннектор.

Пользовательские коннекторы доступны на тарифах Free, Pro, Max, Team и Enterprise. На Free можно добавить только один. В Team и Enterprise коннектор сначала добавляет владелец организации в Настройки организации → Коннекторы.

Авторизация

После нажатия Добавить откроется окно входа в сервис. Войдите под своим аккаунтом и подтвердите доступ. Пароль Claude не видит.

Как подключить rubrkit к ChatGPT

Адрес сервера, который нужно вставить в настройках ChatGPT:

https://www.rubrkit.com/api/v1/mcp

  1. Откройте ChatGPT в браузере (chatgpt.com). Нужен тариф Plus, Pro, Business, Enterprise или Edu.
  2. Один раз включите режим разработчика: Настройки → Приложения → Дополнительные настройки → Режим разработчика (Settings → Apps → Advanced settings → Developer mode).
  3. Откройте Настройки → Коннекторы и нажмите Создать (Create).
  4. Заполните форму: Название (любое), Описание (одна фраза, что делает сервис), URL MCP-сервера (скопируйте ниже).
  5. В поле Аутентификация выберите OAuth, если сервис требует вход, иначе Нет. Нажмите Создать.
  6. В новом чате откройте + → Приложения/Коннекторы и включите коннектор.

Название раздела у OpenAI менялось (Connectors → Apps/Plugins). Если пункт называется иначе, ищите «режим разработчика» в настройках. В рабочих пространствах Business/Enterprise администратор должен разрешить пользовательские коннекторы.

Авторизация

При первом использовании ChatGPT откроет окно входа в сервис. Войдите и подтвердите доступ.

Как подключить rubrkit к Cursor

Адрес сервера, который нужно вставить в настройках Cursor:

https://www.rubrkit.com/api/v1/mcp

Быстрый способ: нажмите кнопку Открыть в Cursor ниже, Cursor сам предложит добавить сервер.

Вручную:

  1. В Cursor откройте Settings → Cursor Settings → MCP и нажмите Add new global MCP server.
  2. Вставьте JSON, скопированный ниже, в открывшийся файл ~/.cursor/mcp.json (для одного проекта: .cursor/mcp.json в корне проекта).
  3. Сохраните файл. Сервер появится в списке MCP; при необходимости пройдите авторизацию по кнопке рядом с ним.

Авторизация

Если сервис требует вход, рядом с сервером в списке MCP появится кнопка авторизации.

Список инструментов сервера (41)

Технические названия из tools/list. Нужны только разработчикам.

rubrkit_search_api_docsSearch the canonical docs/api Markdown guides and OpenAPI operation summaries.
rubrkit_read_api_docRead a docs/api Markdown guide or OpenAPI source by slug, file name, or docs/api path.
rubrkit_read_openapi_contractRead the canonical docs/api/openapi.yaml contract.
rubrkit_create_artifact_bundleCreate an artifact bundle through /api/v1/artifact-bundles. Requires artifact_bundles:write for API keys.
rubrkit_list_artifact_bundlesList artifact bundles through /api/v1/artifact-bundles. Requires artifact_bundles:read for API keys.
rubrkit_read_artifact_bundleRead artifact bundle details, files, and file tree. Requires artifact_bundles:read for API keys.
rubrkit_delete_artifact_bundleArchive an artifact bundle (soft delete) through DELETE /api/v1/artifact-bundles/{artifactBundleId}. The bundle moves to the archived state and can be restored or permanently deleted later. Requires artifact_bundles:write for API keys.
rubrkit_hard_delete_artifact_bundlePermanently delete an archived artifact bundle and all of its files, versions, and run history through DELETE /api/v1/artifact-bundles/{artifactBundleId}/permanent. This is irreversible and only works on bundles that are already archived. Requires artifact_bundles:write for API keys.
rubrkit_upload_artifact_filesUpload one or more text files into an artifact bundle. Requires files:write for API keys.
rubrkit_list_artifact_filesList files in an artifact bundle. Requires files:read for API keys.
rubrkit_read_artifact_fileRead the latest file metadata and content. Requires files:read for API keys.
rubrkit_update_artifact_fileWrite a new editable version for a file. Requires files:write for API keys.
rubrkit_start_auditStart an async audit job. Audit results are cached per account by a content hash of their inputs; pass force: true to bypass the cache and run a fresh audit (the same as the CLI's --no-cache flag). Requires audits:run for API keys.
rubrkit_list_auditsList persisted audit history. Requires artifact_bundles:read for API keys.
rubrkit_read_auditRead a single audit run. Requires artifact_bundles:read for API keys.
rubrkit_apply_audit_rewriteApply a completed audit's AI rewrite to the bundle files (a new version per changed file). Requires audits:run for API keys.
rubrkit_convert_to_rubr_flowStart an async rubr_flow conversion job. Requires rubr_flow:convert for API keys.
rubrkit_list_rubr_flow_conversionsList conversion history. Requires artifact_bundles:read for API keys.
rubrkit_read_rubr_flow_conversionRead one conversion report. Requires artifact_bundles:read for API keys.
rubrkit_poll_jobRead async job progress. Requires jobs:read for API keys.
rubrkit_list_job_eventsRead append-only job progress events. Requires jobs:read for API keys.
rubrkit_list_artifact_bundle_versionsList bundle-level version events. Requires artifact_bundles:read for API keys.
rubrkit_restore_artifact_bundle_versionRestore files from a prior artifact-bundle version by creating new file versions. Requires artifact_bundles:write and files:write for API keys.
rubrkit_list_file_versionsList immutable versions for a file. Requires files:read for API keys.
rubrkit_restore_file_versionRestore a prior file version by creating a new version. Requires files:write for API keys.
rubrkit_run_evalsStart an async eval run. Requires evals:run for API keys. Set mode: "advanced" with baselineVersionId and candidateVersionId to run a statistically-backed A/B (repeats defaults to 3, max 5).
rubrkit_list_evalsList eval history. Requires artifact_bundles:read for API keys.
rubrkit_read_evalRead one eval run, including the `stats` statistical verdict on advanced-mode runs (empty for standard runs). Requires artifact_bundles:read for API keys.
rubrkit_export_proof_reportStart an async proof report job with export storage enabled by default. Requires evals:run for API keys.
rubrkit_read_proof_reportRead one proof report. Requires artifact_bundles:read for API keys.
rubrkit_list_golden_casesList the golden cases for an artifact bundle via /api/v1/artifact-bundles/{artifactBundleId}/golden-cases. Requires artifact_bundles:read (or artifacts:pull) for API keys.
rubrkit_add_golden_caseAdd a golden case (a real edge-case input with a confirmed-correct output) to an artifact bundle via POST /api/v1/artifact-bundles/{artifactBundleId}/golden-cases. Requires artifact_bundles:write for API keys.
rubrkit_retire_golden_caseRetire a golden case via DELETE /api/v1/golden-cases/{goldenCaseId}. Requires artifact_bundles:write for API keys.
rubrkit_create_drift_monitorCreate a drift monitor pinned to a file version via POST /api/v1/artifact-bundles/{artifactBundleId}/drift-monitors. Requires artifact_bundles:write for API keys.
rubrkit_list_drift_monitorsList the drift monitors for an artifact bundle via /api/v1/artifact-bundles/{artifactBundleId}/drift-monitors. Requires artifact_bundles:read (or artifacts:pull) for API keys.
rubrkit_read_drift_observationsList the recorded observations for a drift monitor via /api/v1/drift-monitors/{driftMonitorId}/observations. Requires artifact_bundles:read (or artifacts:pull) for API keys.
rubrkit_run_drift_checkQueue a drift check immediately instead of waiting for the monitor's schedule, via POST /api/v1/drift-monitors/{driftMonitorId}/check. The first check on a new monitor calibrates its baseline. Costs one audit per repeat. Requires artifact_bundles:write for API keys.
rubrkit_set_drift_monitor_statusPause or resume a drift monitor via PATCH /api/v1/drift-monitors/{driftMonitorId}. Requires artifact_bundles:write for API keys.
rubrkit_record_outcomeRecord a production outcome event (input feature, metric, and/or label) for an artifact bundle via POST /api/v1/artifact-bundles/{artifactBundleId}/outcomes. Requires artifact_bundles:write for API keys.
rubrkit_read_input_driftCompare recent production inputs against a prior reference window (population stability index) for an artifact bundle via GET /api/v1/artifact-bundles/{artifactBundleId}/drift/input. Requires artifact_bundles:read (or artifacts:pull) for API keys.
rubrkit_read_validity_driftCorrelate rubric scores against recorded outcome metrics for an artifact bundle to check whether the rubric is still predictive via GET /api/v1/artifact-bundles/{artifactBundleId}/drift/validity. Requires artifact_bundles:read (or artifacts:pull) for API keys.