numguard

Name: numguard
Author: ipezygj2

Verify a number before your agent asserts it.

От сообществаСбоиБез входаГлобальныйБесплатноТолько чтение

Что умеет

Verify Backtest: Is a strategy's Sharpe real, or the luckiest of many tried? Deflated Sharpe Ratio: pass the observed per-period Sharpe `sr`, sample length `T`, and `n_trials` = how many strategy/para
Verify Subset Win: A 'we lead on subset/metric/checkpoint X' claim, corrected for how many you could have picked it from (look-elsewhere / multiple comparisons). Pass the raw p-value and the number of
Verify Model Gap: Is the accuracy gap between two models real, or below what the test set can resolve? Pass items-per- model `n` and the two accuracies. Returns the gap, its significance, and the mini

Какие данные видит

Нужен ли аккаунт

Не нужен: сервер работает без входа

Verify a number before your agent asserts it. Catch inflated backtest(Deflated Sharpe Ratio), false eval "wins" (multiple-testing correction), unreal model gaps, and biased LLM judges — then attach a signed, portable receipt proving it was checked. Generous free tier, then pay-per-call in USDC over x402. Built for agent traders and eval builders.

Как подключить

Как подключить numguard к Claude

Адрес сервера, который нужно вставить в настройках Claude:

https://numguard--ipezygj2.run.tools

Откройте Claude (сайт claude.ai или приложение для компьютера).
Перейдите в Настройки → Коннекторы (в английском интерфейсе: Settings → Connectors).
Нажмите Добавить пользовательский коннектор (Add custom connector).
Вставьте адрес сервера, скопированный ниже, в поле URL удалённого MCP-сервера и нажмите Добавить.
В чате нажмите + → Коннекторы и включите новый коннектор.

Пользовательские коннекторы доступны на тарифах Free, Pro, Max, Team и Enterprise. На Free можно добавить только один. В Team и Enterprise коннектор сначала добавляет владелец организации в Настройки организации → Коннекторы.

Авторизация

После нажатия Добавить откроется окно входа в сервис. Войдите под своим аккаунтом и подтвердите доступ. Пароль Claude не видит.

Как подключить numguard к ChatGPT

Адрес сервера, который нужно вставить в настройках ChatGPT:

https://numguard--ipezygj2.run.tools

Откройте ChatGPT в браузере (chatgpt.com). Нужен тариф Plus, Pro, Business, Enterprise или Edu.
Один раз включите режим разработчика: Настройки → Приложения → Дополнительные настройки → Режим разработчика (Settings → Apps → Advanced settings → Developer mode).
Откройте Настройки → Коннекторы и нажмите Создать (Create).
Заполните форму: Название (любое), Описание (одна фраза, что делает сервис), URL MCP-сервера (скопируйте ниже).
В поле Аутентификация выберите OAuth, если сервис требует вход, иначе Нет. Нажмите Создать.
В новом чате откройте + → Приложения/Коннекторы и включите коннектор.

Название раздела у OpenAI менялось (Connectors → Apps/Plugins). Если пункт называется иначе, ищите «режим разработчика» в настройках. В рабочих пространствах Business/Enterprise администратор должен разрешить пользовательские коннекторы.

Авторизация

При первом использовании ChatGPT откроет окно входа в сервис. Войдите и подтвердите доступ.

Как подключить numguard к Cursor

Адрес сервера, который нужно вставить в настройках Cursor:

https://numguard--ipezygj2.run.tools

Быстрый способ: нажмите кнопку Открыть в Cursor ниже, Cursor сам предложит добавить сервер.

Вручную:

В Cursor откройте Settings → Cursor Settings → MCP и нажмите Add new global MCP server.
Вставьте JSON, скопированный ниже, в открывшийся файл ~/.cursor/mcp.json (для одного проекта: .cursor/mcp.json в корне проекта).
Сохраните файл. Сервер появится в списке MCP; при необходимости пройдите авторизацию по кнопке рядом с ним.

Авторизация

Если сервис требует вход, рядом с сервером в списке MCP появится кнопка авторизации.

Список инструментов сервера (11)

Технические названия из tools/list. Нужны только разработчикам.

verify_backtest	Is a strategy's Sharpe real, or the luckiest of many tried? Deflated Sharpe Ratio: pass the observed per-period Sharpe `sr`, sample length `T`, and `n_trials` = how many strategy/parameter variants were tested before reporting this one. Optionally the return `skew`/`kurt`. For agent traders verifying backtest data before they trust (or publish) it.
verify_subset_win	A 'we lead on subset/metric/checkpoint X' claim, corrected for how many you could have picked it from (look-elsewhere / multiple comparisons). Pass the raw p-value and the number of comparisons tested.
verify_model_gap	Is the accuracy gap between two models real, or below what the test set can resolve? Pass items-per- model `n` and the two accuracies. Returns the gap, its significance, and the minimum detectable effect.
verify_judge_bias	Is an LLM-judge / metric preference real, or just longer/first/same-family? Pass the count of verdicts the tested side won and the total. Exact binomial vs chance.
calibrate_judge	Check an LLM judge against ground truth on a labelled slice. Pass aligned booleans: the judge's verdicts and the known-correct answers. Returns agreement and whether the judge's errors lean one direction (over-crediting = the length/self-preference failure mode).
audit_leaderboard	Audit a whole leaderboard from per-item results. `results` maps each model to the list of item-ids it solved (or a {item: score} dict). Returns rank confidence intervals + whether #1 is statistically real.
issue_receipt	Verify a claim server-side and hand back a portable, signed receipt (Ed25519) of numguard's OWN verdict. numguard recomputes the verdict from your inputs — it never signs a result you supply — so the receipt is real proof the claim was checked, not just an assertion. Anyone can verify it with only the public key.
verify_guard_trace	Recompute the BEHAVIOURAL-guard verdict over an agent's action-trace and hand back a portable, signed receipt (Ed25519) — proof the run was guarded and what the guard decided. Catches what a code scanner can't: a cross-call exfiltration chain (read a secret → later send it to a non- allowlisted host) or an action taken right after ingesting untrusted content (prompt-injection consequence). numguard recomputes the verdict from the trace — it never signs a verdict you supply — so the receipt is real evidence, verifiable by anyone with only the public key. Use when: an agent needs to PROVE a run passed the behavioural guard (compliance, audit, handing verified work to another party).
verify_backtest_series	Run the checks a Deflated-Sharpe pass STILL misses — on the actual returns series. Catches same-bar look-ahead, autocorrelation-inflated Sharpe (HAC), regime dependence / cherry-picked windows, drawdown & tail fantasy, one-lucky-epoch fragility (block bootstrap), overfitting beyond n_trials (PBO), and volatility-clustering. Returns a combined verdict + the checks that flagged. Pass `positions`+`asset_returns` for the leakage check, `turnover` for cost, `candidates` (a matrix) for PBO.
balance	Your remaining free calls and prepaid credit balance.
pricing	Machine-readable price list (credits; 1 credit = $0.01) and the free-tier size, so an agent can decide before it calls. Also returns the wallet-native x402 rail an agent can pay at once its free tier is used.