Guias

Limites e concorrência

Requisições por minuto, requisições simultâneas e como os depósitos sobem o seu nível.

Dois limites valem para a inferência:

Limite	Abrangência	Quando você passa dele
Requisições por minuto	Organização, e a chave se ela tiver limite próprio	`429 rate_limit_exceeded`
Requisições simultâneas (concorrência)	Organização	`429 concurrency_limit_exceeded`

A concorrência cresce com o total que você depositou ao longo do tempo. Os níveis estão na página de preços, e o seu nível atual aparece no console em Limites. Toda resposta traz x-notholy-concurrency-limit e x-notholy-concurrency-remaining.

curl

curl -s -D - -o /dev/null https://api.notholy.com/v1/chat/completions \
  -H "Authorization: Bearer $NOTHOLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "notholy-specter", "max_tokens": 16, "messages": [{"role": "user", "content": "ok"}]}' | grep -i x-notholy

As requisições também reservam créditos enquanto rodam. Se a reserva não couber no seu saldo disponível, a requisição recebe 402 antes de começar.

As rotas de pesquisa (/v1/cve, /v1/web, /v1/files) têm o próprio limite por minuto.

Se você precisa de mais do que o nível mais alto, escreva para o time comercial em notholy.com/enterprise.

Próximos passos

Erros