מדריכים

מטמון פרומפטים

לטוקני קלט מהמטמון יש תעריף משלהם. מה גורם לפגיעה במטמון וממה מתעלמים.

יש בקשות שחוזרות על קידומת ארוכה: פרומפט מערכת, קובץ גדול, חלק מוקדם מהשיחה. כשצד ההרצה מוצא את הקידומת הזאת במטמון, טוקני הקלט האלה מחויבים לפי תעריף הקלט מהמטמון שמופיע בעמוד המודלים.

המטמון אוטומטי. אין צורך לסמן שום דבר.
cache_control ב-Messages מתקבל ומתעלמים ממנו.
נתוני השימוש מראים את החלק שהגיע מהמטמון: prompt_tokens_details.cached_tokens ב-chat completions, input_tokens_details.cached_tokens ב-Responses, cache_read_input_tokens ב-Messages.
אין הבטחה לפגיעה במטמון. כדי לשפר את הסיכוי, כדאי לשים תוכן קבוע בתחילת הפרומפט ותוכן משתנה בסופו.

Python

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])

system = "You review web application code for an authorized assessment. Report findings with file, line, CWE and a fix."
r = client.chat.completions.create(
    model="notholy-specter",
    messages=[{"role": "system", "content": system}, {"role": "user", "content": "Review: res.send(req.query.name)"}],
)
print(r.usage.prompt_tokens, getattr(r.usage.prompt_tokens_details, "cached_tokens", 0))

חיסכון בעלויות