Руководства

Лимиты и параллельность

Запросы в минуту, одновременные запросы и как пополнения повышают ваш уровень.

К инференсу применяются два лимита:

Лимит	Область	Если превысить
Запросы в минуту	Каждый ключ и организация, лимит один и тот же	`429 rate_limit_exceeded`
Одновременные запросы (параллельность)	Организация	`429 concurrency_limit_exceeded`

Параллельность растёт с общей суммой ваших пополнений за всё время. Уровни указаны на странице цен, а ваш текущий уровень — в консоли в разделе Лимиты. Запрос, прошедший проверку, получает в ответе x-notholy-concurrency-limit и x-notholy-concurrency-remaining.

curl

curl -s -D - -o /dev/null https://api.notholy.com/v1/chat/completions \
  -H "Authorization: Bearer $NOTHOLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "notholy-specter", "max_tokens": 16, "messages": [{"role": "user", "content": "ok"}]}' | grep -i x-notholy

Пока запросы выполняются, они ещё и резервируют кредиты. Если худший случай не помещается в доступный баланс, лимит вывода уменьшается. Ниже 16 токенов запрос получает 402 до старта.

Исследовательские маршруты (/v1/cve, /v1/kb, /v1/advisories, /v1/web, /v1/files) и /mcp делят лимит 120 запросов в минуту на организацию.

Если нужно больше, чем даёт верхний уровень, напишите в отдел продаж со страницы notholy.com/enterprise.

Что дальше

Ошибки