Vai al contenuto
NotHolyDocs

Guide

Contenere i costi

Come viene calcolato il prezzo di una richiesta e come spendere meno per lo stesso lavoro.

Vedi in Markdown

Una richiesta costa i token di input per la tariffa di input, più i token di input in cache per la tariffa della cache, più i token di output per la tariffa di output. I token di ragionamento contano come output. Le tariffe sono per milione di token e sono pubblicate nella pagina dei modelli.

Come spendere meno:

  1. Usa il modello più economico che fa il lavoro per il triage in blocco, e uno più grande solo dove servono contesto lungo o profondità. Modelli mette le tariffe a confronto.
  2. Imposta max_tokens, così una risposta fuori controllo non può costare più del previsto.
  3. Usa reasoning_effort: "low" quando il compito è una consultazione e non un'analisi.
  4. Tieni le istruzioni lunghe e stabili all'inizio del prompt, così possono finire in cache.
  5. Dai a ogni script la sua chiave con un budget giornaliero, così un ciclo si ferma al budget.
Python
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])

r = client.chat.completions.create(
    model="notholy-specter",
    max_tokens=120,
    reasoning_effort="low",
    messages=[{"role": "user", "content": "Classify this finding as low, medium or high: verbose stack trace on 500."}],
)
u = r.usage
print(u.prompt_tokens, u.completion_tokens)

La console mostra il costo di ogni richiesta in Attività.

Prossimi passi