Terradev

Terradev: кросс-облачная панель управления вычислениями для ИИ-нагрузок

От сообщества: Добавлен пользователем или импортирован; проверьте владельца перед подключениемРаботаетБез входаГлобальныйБесплатноТолько чтение

Что умеет

  • Разворачивать GPU-инстансы для параллельных нагрузок
  • Запускать предполётные проверки драйверов, CUDA и сети
  • Оркестрировать обучение моделей и оптимизацию затрат
  • Управлять секретами и настройками провайдеров
  • Вести журнал согласий и отчёты о соответствии

Какие данные видит

Ассистент использует токены провайдеров, которые пользователь сам хранит в локальном секретном хранилище (BYOAPI); сервис не логирует содержимое запросов.

Нужен ли аккаунт

Не нужен: сервер работает без входа

Terradev объединяет расчёт стоимости, провижининг, оптимизацию топологии, обучение моделей и аналитику затрат в одном CLI поверх 17 GPU-провайдеров — от AWS до RunPod и Vast.ai. Инструмент модель-агностичен и провайдер-агностичен, но строго следит за корректностью топологии и последовательности операций. Open source по Apache 2.0, BYOAPI, без наценки.

Как подключить

Как подключить Terradev к Claude

Адрес сервера, который нужно вставить в настройках Claude:

https://terradev--wolfendentheo.run.tools

  1. Откройте Claude (сайт claude.ai или приложение для компьютера).
  2. Перейдите в Настройки → Коннекторы (в английском интерфейсе: Settings → Connectors).
  3. Нажмите Добавить пользовательский коннектор (Add custom connector).
  4. Вставьте адрес сервера, скопированный ниже, в поле URL удалённого MCP-сервера и нажмите Добавить.
  5. В чате нажмите + → Коннекторы и включите новый коннектор.

Пользовательские коннекторы доступны на тарифах Free, Pro, Max, Team и Enterprise. На Free можно добавить только один. В Team и Enterprise коннектор сначала добавляет владелец организации в Настройки организации → Коннекторы.

Авторизация

После нажатия Добавить откроется окно входа в сервис. Войдите под своим аккаунтом и подтвердите доступ. Пароль Claude не видит.

Как подключить Terradev к ChatGPT

Адрес сервера, который нужно вставить в настройках ChatGPT:

https://terradev--wolfendentheo.run.tools

  1. Откройте ChatGPT в браузере (chatgpt.com). Нужен тариф Plus, Pro, Business, Enterprise или Edu.
  2. Один раз включите режим разработчика: Настройки → Приложения → Дополнительные настройки → Режим разработчика (Settings → Apps → Advanced settings → Developer mode).
  3. Откройте Настройки → Коннекторы и нажмите Создать (Create).
  4. Заполните форму: Название (любое), Описание (одна фраза, что делает сервис), URL MCP-сервера (скопируйте ниже).
  5. В поле Аутентификация выберите OAuth, если сервис требует вход, иначе Нет. Нажмите Создать.
  6. В новом чате откройте + → Приложения/Коннекторы и включите коннектор.

Название раздела у OpenAI менялось (Connectors → Apps/Plugins). Если пункт называется иначе, ищите «режим разработчика» в настройках. В рабочих пространствах Business/Enterprise администратор должен разрешить пользовательские коннекторы.

Авторизация

При первом использовании ChatGPT откроет окно входа в сервис. Войдите и подтвердите доступ.

Как подключить Terradev к Cursor

Адрес сервера, который нужно вставить в настройках Cursor:

https://terradev--wolfendentheo.run.tools

Быстрый способ: нажмите кнопку Открыть в Cursor ниже, Cursor сам предложит добавить сервер.

Вручную:

  1. В Cursor откройте Settings → Cursor Settings → MCP и нажмите Add new global MCP server.
  2. Вставьте JSON, скопированный ниже, в открывшийся файл ~/.cursor/mcp.json (для одного проекта: .cursor/mcp.json в корне проекта).
  3. Сохраните файл. Сервер появится в списке MCP; при необходимости пройдите авторизацию по кнопке рядом с ним.

Авторизация

Если сервис требует вход, рядом с сервером в списке MCP появится кнопка авторизации.

Список инструментов сервера (60)

Технические названия из tools/list. Нужны только разработчикам.

provision_gpuProvision GPU instances for optimal parallel efficiency
preflight_reportGenerate full preflight validation report with pass/warn/fail per check. Covers GPU drivers, CUDA, NCCL, RDMA, network, disk, and Docker.
preflight_gpu_checkGPU-specific preflight validation: NVIDIA drivers, CUDA version, GPU count, NCCL, NVLink topology, NCU stall-signature profiling, and adversarial config verification (V1-V3).
preflight_network_checkNetwork-specific preflight validation: RDMA availability, InfiniBand status, inter-node bandwidth, latency matrix, firewall rules.
local_scanScan local machine and network for available GPU devices. Returns total VRAM pool for local-first provisioning.
statusView all instances and costs with state optimization
manage_instanceManage GPU instances (stop/start/terminate)
analyticsGet cost analytics
optimizeFind cheaper alternatives for running instances
setup_providerGet setup instructions for a provider
configure_providerConfigure provider credentials
trainLaunch distributed training on provisioned GPU nodes. Supports torchrun, deepspeed, accelerate, and megatron. Use from_provision='latest' to auto-resolve node IPs from your last provision command.
preflightPre-training validation: GPU availability, NCCL, RDMA, drivers across all nodes.
stageCompress, chunk, checksum, and position datasets near compute. Supports local paths, S3/GCS URIs, HTTP URLs, and HuggingFace dataset names. Returns staging plan with agent recommendations.
upCLI-native provisioning with manifest cache and drift detection. Use --fix-drift to detect and auto-fix drifted infrastructure.
rollbackExplicit versioned rollback. Format: job@version (e.g., llama3@v3).
manifestsList cached manifests and versions for jobs.
run_workflowRun a declarative YAML workflow that chains multiple Terradev commands (provision → preflight → train → monitor → checkpoint). Returns step-by-step execution status with cost estimates and confirmation gates for expensive operations.
active_contextGet current Terradev state: running training jobs, active instances, spend-to-date, alerts. Call this on session start to resume context from previous sessions.
governance_request_consentRequest user consent for data movement across cloud regions. GDPR/SOC2 compliant consent tracking with audit trail.
governance_record_consentRecord a consent response (granted or denied) for a pending consent request.
governance_evaluate_opaEvaluate OPA (Open Policy Agent) policies for data access. Checks region restrictions, classification rules, and compliance requirements.
governance_move_dataMove data with full governance audit trail. Requires prior consent and OPA policy approval. Tracks integrity, encryption, and compliance.
governance_movement_historyGet data movement audit log. Filter by user, dataset, or time range.
governance_compliance_reportGenerate comprehensive compliance report: consent stats, policy evaluations, data movements, violations. For GDPR/SOC2/HIPAA audits.
inferx_deployDeploy model to InferX serverless platform
inferx_statusCheck InferX endpoint status
inferx_listList deployed InferX models
inferx_optimizeGet cost analysis for inference endpoints
inferx_configureConfigure InferX serverless platform credentials.
inferx_deleteDelete an InferX model deployment.
inferx_usageGet InferX account usage statistics: requests, cost, GPU hours, latency.
inferx_quoteGet InferX pricing quotes for a GPU type.
infer_routeSemantic-aware inference routing. Analyzes query content across 6 signal dimensions (modality, complexity, domain, language, safety, keywords), applies NUMA-aware endpoint scoring, and selects the optimal inference endpoint. Uses DAG parallel execution for signal extraction.
infer_route_disaggDisaggregated Prefill/Decode routing (DistServe architecture). Splits LLM inference into compute-bound prefill phase (routed to FLOPS-optimized GPUs like H100 SXM) and memory-bound decode phase (routed to bandwidth-optimized GPUs like MI300X). Tracks KV cache handoffs between endpoint pairs.
infer_failoverRun health checks and auto-failover for inference endpoints. If a primary endpoint is unhealthy and has a backup configured, traffic automatically shifts to the backup provider.
gpu_topologyGPU NUMA topology report with intra-GPU XCD (Accelerated Compute Die) awareness. Models MI300X (8 XCDs, 192GB HBM3), MI300A (6 XCDs, 128GB), H200 (unified 141GB HBM3e), H100 (80GB). Reports PCIe locality (PIX/PXB/PHB/SYS), GPU-NIC pairing, SR-IOV VF status, and generates XCD-aware NCCL/AITER environment variables.
vllm_startStart a vLLM inference server on a remote instance via SSH/systemd. Supports Multi-LoRA, Sleep Mode, KV Offloading, Speculative Decoding.
vllm_stopStop a vLLM server on a remote instance.
vllm_inferenceTest inference against a running vLLM endpoint (completions or chat).
vllm_infoGet vLLM server info: loaded models, config, and health status.
vllm_sleepPut a vLLM server to sleep. Level 1: offload to CPU (fast wake). Level 2: discard weights (minimal RAM).
vllm_wakeWake a sleeping vLLM server. For Level 2 sleep, also reloads weights and resets prefix cache.
sglangComplete SGLang optimization stack with workload-specific auto-tuning for 7 workload types: agentic chat, batch inference, low latency, MoE models, PD disaggregated, structured output, and RAG.
sglang_start[DEPRECATED] Use sglang action='start' instead. Start an SGLang inference server on a remote instance.
sglang_stop[DEPRECATED] Use sglang action='stop' instead. Stop an SGLang server on a remote instance.
sglang_inference[DEPRECATED] Use sglang action='inference' instead. Test inference against a running SGLang endpoint.
ollama_listList models available on an Ollama server.
ollama_pullPull a model to an Ollama server on a remote instance.
ollama_generateGenerate text using an Ollama model (non-chat completions).
ollama_chatChat with an Ollama model using the chat/completions API.
ollama_model_infoGet detailed information about an Ollama model (parameters, template, license).
vllm_auto_optimizeAutomatically optimize vLLM configuration by analyzing workload patterns. Selects optimal settings for the 6 critical knobs based on live endpoint metrics or sample request files.
vllm_analyzeAnalyze a running vLLM server's workload and return specific optimization recommendations with before/after comparisons.
vllm_benchmarkBenchmark a vLLM endpoint with concurrent requests. Returns throughput (req/s), success rate, and total latency.
ollama_psList currently running Ollama models.
langfuse_configureConfigure Langfuse credentials (public key, secret key, host URL).
langfuse_testTest Langfuse connectivity and list accessible projects.
langfuse_tracesList recent LLM traces from Langfuse.
langfuse_traceGet a single Langfuse trace with all observations/spans.