Saltar al contenido
NotHolyDocs

Guías

Caché de prompts

Los tokens de entrada cacheados tienen su propia tarifa. Qué produce un acierto de caché y qué se ignora.

Ver en Markdown

Algunas solicitudes reutilizan un prefijo largo: un system prompt, un archivo grande, una parte anterior de la conversación. Cuando el servicio encuentra ese prefijo en caché, esos tokens de entrada se cobran a la tarifa de entrada cacheada que figura en la página de modelos.

  • La caché es automática. No necesitas marcar nada.
  • cache_control en Messages se acepta y se ignora.
  • El uso muestra la parte cacheada: prompt_tokens_details.cached_tokens en chat completions, input_tokens_details.cached_tokens en Responses y cache_read_input_tokens en Messages.
  • Un acierto de caché no está garantizado. Para mejorar las probabilidades, pon el contenido estable al comienzo del prompt y el que cambia al final.
Python
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])

system = "You review web application code for an authorized assessment. Report findings with file, line, CWE and a fix."
r = client.chat.completions.create(
    model="notholy-specter",
    messages=[{"role": "system", "content": system}, {"role": "user", "content": "Review: res.send(req.query.name)"}],
)
print(r.usage.prompt_tokens, getattr(r.usage.prompt_tokens_details, "cached_tokens", 0))

Siguientes pasos