Guias

Boas práticas de custo

Como uma requisição é cobrada e como gastar menos pelo mesmo trabalho.

Uma requisição custa os tokens de entrada vezes a tarifa de entrada, mais os tokens de entrada em cache vezes a tarifa de cache, mais os tokens de saída vezes a tarifa de saída. Tokens de raciocínio contam como saída. As tarifas são por milhão de tokens e estão publicadas na página de modelos.

Formas de gastar menos:

Use o modelo mais barato que resolve para triage em volume, e um maior só quando contexto longo ou profundidade fizerem diferença. Modelos mostra os preços lado a lado.
Defina max_tokens para que uma resposta descontrolada não custe mais do que você espera.
Use reasoning_effort: "low" quando a tarefa for consulta, e não análise.
Deixe instruções longas e estáveis no começo do prompt para que possam entrar em cache.
Dê a cada script uma chave própria com orçamento diário, assim um loop para quando bate no orçamento.

Python

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])

r = client.chat.completions.create(
    model="notholy-specter",
    max_tokens=120,
    reasoning_effort="low",
    messages=[{"role": "user", "content": "Classify this finding as low, medium or high: verbose stack trace on 500."}],
)
u = r.usage
print(u.prompt_tokens, u.completion_tokens)

O console mostra o custo de cada requisição em Atividade, com a versão de preço aplicada.

Próximos passos

API de créditos