Vai al contenuto
NotHolyDocs

Guide

Chiamata di funzioni

Dai al modello i tuoi strumenti. Restituisce chiamate con argomenti JSON, tu le esegui e rimandi i risultati.

Vedi in Markdown

Dichiara gli strumenti con uno schema JSON. Il modello può rispondere con testo o con una o più chiamate di strumenti. Esegui lo strumento dalla tua parte e invii il risultato in un messaggio tool.

import json
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])
tools = [{
    "type": "function",
    "function": {
        "name": "get_cvss",
        "description": "Return the CVSS base score of a CVE",
        "parameters": {"type": "object", "properties": {"id": {"type": "string"}}, "required": ["id"]},
    },
}]
messages = [{"role": "user", "content": "What is the CVSS score of CVE-2021-44228?"}]
r = client.chat.completions.create(model="notholy-specter", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps({"id": args["id"], "cvss": 10.0})})
    r = client.chat.completions.create(model="notholy-specter", messages=messages, tools=tools)
print(r.choices[0].message.content)

Note

  • Sono supportati solo strumenti function. Gli strumenti integrati lato server non vengono eseguiti.
  • tool_choice accetta auto, none, required o il nome di una funzione.
  • In streaming, una chiamata di strumento arriva intera in ogni formato: un solo delta con tutti gli argomenti.
  • I risultati degli strumenti sono contenuti che controlli tu. Tratta come dati quello che uno strumento riporta dal mondo esterno.

Prossimi passi