Руководства

Как экономить

Как считается цена запроса и как тратить меньше на ту же работу.

Стоимость запроса — это входные токены, умноженные на цену входа, плюс входные токены из кэша, умноженные на цену кэша, плюс выходные токены, умноженные на цену выхода. Токены рассуждений считаются выходом. Цены указаны за миллион токенов и опубликованы на странице моделей.

Как тратить меньше:

Для массового триажа берите самую дешёвую модель, которая справляется, а более крупную — только там, где важны длинный контекст или глубина. В разделе Модели цены сведены рядом.
Задайте max_tokens, чтобы ответ, ушедший в разнос, не стоил больше ожидаемого.
Используйте reasoning_effort: "low", когда задача — найти факт, а не проанализировать.
Держите длинные неизменные инструкции в начале промпта, чтобы они могли кэшироваться.
Дайте каждому скрипту свой ключ с дневным бюджетом, чтобы зацикленный скрипт остановился на бюджете.

Python

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])

r = client.chat.completions.create(
    model="notholy-specter",
    max_tokens=120,
    reasoning_effort="low",
    messages=[{"role": "user", "content": "Classify this finding as low, medium or high: verbose stack trace on 500."}],
)
u = r.usage
print(u.prompt_tokens, u.completion_tokens)

Консоль показывает стоимость каждого запроса в разделе Активность.

Что дальше

Credits API