# מטמון פרומפטים

> לטוקני קלט מהמטמון יש תעריף משלהם. מה גורם לפגיעה במטמון וממה מתעלמים.


יש בקשות שחוזרות על קידומת ארוכה: פרומפט מערכת, קובץ גדול, חלק מוקדם מהשיחה. כשצד ההרצה מוצא את הקידומת הזאת במטמון, טוקני הקלט האלה מחויבים לפי תעריף הקלט מהמטמון שמופיע ב[עמוד המודלים](https://notholy.com/he/models).

- המטמון אוטומטי. אין צורך לסמן שום דבר.
- `cache_control` ב-Messages מתקבל ומתעלמים ממנו.
- נתוני השימוש מראים את החלק שהגיע מהמטמון: `prompt_tokens_details.cached_tokens` ב-chat completions, `input_tokens_details.cached_tokens` ב-Responses, `cache_read_input_tokens` ב-Messages.
- אין הבטחה לפגיעה במטמון. כדי לשפר את הסיכוי, כדאי לשים תוכן קבוע בתחילת הפרומפט ותוכן משתנה בסופו.

```python test
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])

system = "You review web application code for an authorized assessment. Report findings with file, line, CWE and a fix."
r = client.chat.completions.create(
    model="notholy-specter",
    messages=[{"role": "system", "content": system}, {"role": "user", "content": "Review: res.send(req.query.name)"}],
)
print(r.usage.prompt_tokens, getattr(r.usage.prompt_tokens_details, "cached_tokens", 0))
```

## הבא

- [חיסכון בעלויות](/he/guides/cost)