Nonobench

An open-source benchmark of how well LLMs solve nonogram puzzles, from 5x5 to 20x20.

От сообществаРаботаетБез входаГлобальныйБесплатноТолько чтение

Что умеет

Get Leaderboard: Models ranked by accuracy; defaults to all effort levels for compatibility.
List Providers: Provider ids, names, families and variant counts.
List Families: Model families, available efforts and best variants.

Какие данные видит

Нужен ли аккаунт

Не нужен: сервер работает без входа

An open-source benchmark of how well LLMs solve nonogram puzzles, from 5x5 to 20x20. Query every result through a REST API or MCP server.

Как подключить

Как подключить Nonobench к Claude

Адрес сервера, который нужно вставить в настройках Claude:

https://nonobench.run.tools

Откройте Claude (сайт claude.ai или приложение для компьютера).
Перейдите в Настройки → Коннекторы (в английском интерфейсе: Settings → Connectors).
Нажмите Добавить пользовательский коннектор (Add custom connector).
Вставьте адрес сервера, скопированный ниже, в поле URL удалённого MCP-сервера и нажмите Добавить.
В чате нажмите + → Коннекторы и включите новый коннектор.

Пользовательские коннекторы доступны на тарифах Free, Pro, Max, Team и Enterprise. На Free можно добавить только один. В Team и Enterprise коннектор сначала добавляет владелец организации в Настройки организации → Коннекторы.

Авторизация

После нажатия Добавить откроется окно входа в сервис. Войдите под своим аккаунтом и подтвердите доступ. Пароль Claude не видит.

Как подключить Nonobench к ChatGPT

Адрес сервера, который нужно вставить в настройках ChatGPT:

https://nonobench.run.tools

Откройте ChatGPT в браузере (chatgpt.com). Нужен тариф Plus, Pro, Business, Enterprise или Edu.
Один раз включите режим разработчика: Настройки → Приложения → Дополнительные настройки → Режим разработчика (Settings → Apps → Advanced settings → Developer mode).
Откройте Настройки → Коннекторы и нажмите Создать (Create).
Заполните форму: Название (любое), Описание (одна фраза, что делает сервис), URL MCP-сервера (скопируйте ниже).
В поле Аутентификация выберите OAuth, если сервис требует вход, иначе Нет. Нажмите Создать.
В новом чате откройте + → Приложения/Коннекторы и включите коннектор.

Название раздела у OpenAI менялось (Connectors → Apps/Plugins). Если пункт называется иначе, ищите «режим разработчика» в настройках. В рабочих пространствах Business/Enterprise администратор должен разрешить пользовательские коннекторы.

Авторизация

При первом использовании ChatGPT откроет окно входа в сервис. Войдите и подтвердите доступ.

Как подключить Nonobench к Cursor

Адрес сервера, который нужно вставить в настройках Cursor:

https://nonobench.run.tools

Быстрый способ: нажмите кнопку Открыть в Cursor ниже, Cursor сам предложит добавить сервер.

Вручную:

В Cursor откройте Settings → Cursor Settings → MCP и нажмите Add new global MCP server.
Вставьте JSON, скопированный ниже, в открывшийся файл ~/.cursor/mcp.json (для одного проекта: .cursor/mcp.json в корне проекта).
Сохраните файл. Сервер появится в списке MCP; при необходимости пройдите авторизацию по кнопке рядом с ним.

Авторизация

Если сервис требует вход, рядом с сервером в списке MCP появится кнопка авторизации.

Список инструментов сервера (11)

Технические названия из tools/list. Нужны только разработчикам.

get_leaderboard	Models ranked by accuracy; defaults to all effort levels for compatibility.
list_providers	Provider ids, names, families and variant counts.
list_families	Model families, available efforts and best variants.
compare_models	Side-by-side core overall and per-size accuracy, cost, latency and token results for model or family names.
get_model_results	Accuracy, cost, latency and token use for one model, broken down by grid size.
list_puzzles	The benchmark puzzles with their ids and row/column clues.
get_puzzle	One puzzle, including the clue text models were prompted with. The reference solution is only included on request; some puzzles have several valid solutions.
check_solution	Check a grid against a puzzle's clues, using the same rule as the benchmark grader. Reports which rows and columns do not match.
get_puzzle_results	Per-model outcomes for one puzzle. Answers are omitted unless requested.
get_model_puzzles	Which puzzles one model solved, missed, timed out on, or has not run.
list_runs	Individual benchmark runs (one model on one puzzle), optionally with the raw prompt and model output.