חיסכון בעלויות

עלות בקשה היא טוקני הקלט כפול תעריף הקלט, ועוד טוקני הקלט מהמטמון כפול תעריף המטמון, ועוד טוקני הפלט כפול תעריף הפלט. טוקני חשיבה נספרים כפלט. התעריפים הם למיליון טוקנים, והם מפורסמים בעמוד המודלים.

דרכים להוציא פחות:

1. לטריאז׳ בכמות גדולה, להשתמש במודל הזול ביותר שעושה את העבודה, ובמודל גדול יותר רק כשצריך הקשר ארוך או עומק. בעמוד מודלים התעריפים מופיעים זה לצד זה.
2. להגדיר max_tokens, כדי שתשובה שיוצאת משליטה לא תעלה יותר מהצפוי.
3. להגדיר reasoning_effort: "low" כשהמשימה היא שליפת מידע ולא ניתוח.
4. לשים הוראות ארוכות וקבועות בתחילת הפרומפט, כדי שיוכלו להישמר במטמון.
5. לתת לכל סקריפט מפתח משלו עם תקציב יומי, כך שלולאה נעצרת כשהיא מגיעה לתקציב.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])

r = client.chat.completions.create(
    model="notholy-specter",
    max_tokens=120,
    reasoning_effort="low",
    messages=[{"role": "user", "content": "Classify this finding as low, medium or high: verbose stack trace on 500."}],
)
u = r.usage
print(u.prompt_tokens, u.completion_tokens)

הקונסולה מציגה את העלות של כל בקשה תחת פעילות.

הבא

• API קרדיטים