Guias

Function calling

Dê ao modelo as suas próprias ferramentas. Ele devolve chamadas com argumentos em JSON, você executa e envia os resultados.

Ver em Markdown

Declare as ferramentas com um JSON Schema. O modelo pode responder com texto ou com uma ou mais tool calls. Você executa a ferramenta do seu lado e envia o resultado em uma mensagem tool.

import json
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.notholy.com/v1", api_key=os.environ["NOTHOLY_API_KEY"])
tools = [{
    "type": "function",
    "function": {
        "name": "get_cvss",
        "description": "Return the CVSS base score of a CVE",
        "parameters": {"type": "object", "properties": {"id": {"type": "string"}}, "required": ["id"]},
    },
}]
messages = [{"role": "user", "content": "What is the CVSS score of CVE-2021-44228?"}]
r = client.chat.completions.create(model="notholy-specter", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps({"id": args["id"], "cvss": 10.0})})
    r = client.chat.completions.create(model="notholy-specter", messages=messages, tools=tools)
print(r.choices[0].message.content)

import OpenAI from 'openai';

const client = new OpenAI({ baseURL: 'https://api.notholy.com/v1', apiKey: process.env.NOTHOLY_API_KEY });

const tools = [{
  type: 'function',
  function: { name: 'lookup_port', description: 'Service usually found on a TCP port', parameters: { type: 'object', properties: { port: { type: 'integer' } }, required: ['port'] } },
}];
const r = await client.chat.completions.create({
  model: 'notholy-specter',
  messages: [{ role: 'user', content: 'What usually runs on port 5432?' }],
  tools,
});
const m = r.choices[0].message;
console.log(m.tool_calls ? m.tool_calls.map((c) => `${c.function.name}(${c.function.arguments})`).join('\n') : m.content);

Observações

Só ferramentas function são suportadas. Ferramentas embutidas do servidor não são executadas.
tool_choice aceita auto, none, required ou uma função pelo nome.
No Messages, as tool calls chegam inteiras. Nos formatos da OpenAI, os argumentos chegam em streaming como deltas.
Os resultados das ferramentas são conteúdo que você controla. Trate como dado o que uma ferramenta traz do mundo externo.

Próximos passos

Raciocínio