Guide
Chiamata di funzioni
Dai al modello i tuoi strumenti. Restituisce chiamate con argomenti JSON, tu le esegui e rimandi i risultati.
Dichiara gli strumenti con uno schema JSON. Il modello può rispondere con testo o con una o più chiamate di strumenti. Esegui lo strumento dalla tua parte e invii il risultato in un messaggio tool.
import json
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])
tools = [{
"type": "function",
"function": {
"name": "get_cvss",
"description": "Return the CVSS base score of a CVE",
"parameters": {"type": "object", "properties": {"id": {"type": "string"}}, "required": ["id"]},
},
}]
messages = [{"role": "user", "content": "What is the CVSS score of CVE-2021-44228?"}]
r = client.chat.completions.create(model="notholy-specter", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps({"id": args["id"], "cvss": 10.0})})
r = client.chat.completions.create(model="notholy-specter", messages=messages, tools=tools)
print(r.choices[0].message.content)import OpenAI from 'openai';
const client = new OpenAI({ baseURL: 'https://api.notholy.com/v1', apiKey: process.env.NOTHOLY_API_KEY });
const tools = [{
type: 'function',
function: { name: 'lookup_port', description: 'Service usually found on a TCP port', parameters: { type: 'object', properties: { port: { type: 'integer' } }, required: ['port'] } },
}];
const r = await client.chat.completions.create({
model: 'notholy-specter',
messages: [{ role: 'user', content: 'What usually runs on port 5432?' }],
tools,
});
const m = r.choices[0].message;
console.log(m.tool_calls ? m.tool_calls.map((c) => `${c.function.name}(${c.function.arguments})`).join('\n') : m.content);Note
- Sono supportati solo strumenti
function. Gli strumenti integrati lato server non vengono eseguiti. tool_choiceaccettaauto,none,requiredo il nome di una funzione.- In streaming, una chiamata di strumento arriva intera in ogni formato: un solo delta con tutti gli argomenti.
- I risultati degli strumenti sono contenuti che controlli tu. Tratta come dati quello che uno strumento riporta dal mondo esterno.