Decida o que o bot pode fazer
Antes de qualquer código, escreva um escopo de uma página. Liste as perguntas que o bot pode responder (status do pedido, horário de funcionamento, como redefinir uma senha), aquelas que ele deve passar para uma pessoa (reembolsos acima de um limite, reclamações legais, qualquer coisa envolvendo segurança) e as coisas que ele nunca deve fazer (inventar políticas, prometer resultados, dar conselhos médicos ou jurídicos).
Este escopo se torna seu prompt de sistema e seu conjunto de testes. Um bot de suporte que tenta responder a tudo vai, cedo ou tarde, afirmar algo falso com confiança. Um bot restrito com transferência rápida é melhor para os clientes e para você.
Também decida se o modelo é o adequado. Esta API oferece um único modelo de pesos abertos ajustado para responder sem filtros de conteúdo para uso adulto lícito. Essa é uma característica para produtos de ficção e voltados para adultos. Para um help desk corporativo típico, isso se aproxima mais de um risco, e a última seção aborda isso em detalhes.
A chamada principal: prompt mais seus próprios fatos
O design mais simples e confiável é a recuperação manual. Você mantém os artigos de ajuda em seu banco de dados, encontra os dois ou três que correspondem à pergunta do cliente e os cola no prompt. O modelo então responde apenas com base nesse texto.
from openai import OpenAI
client = OpenAI(
base_url="https://api.apertusaichat.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""
def answer(question, help_text, history):
messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
messages += history[-6:]
messages.append({"role": "user", "content": question})
r = client.chat.completions.create(
model="uncensored",
messages=messages,
temperature=0.2,
max_tokens=250,
)
return r.choices[0].message.content
Duas configurações são importantes aqui. Uma temperatura baixa (0,2) reduz a deriva criativa, o que você não deseja no suporte. E history[-6:] mantém apenas as seis últimas mensagens, para que o custo de entrada permaneça constante, independentemente da duração do chat.
Roteie a intenção com o modo JSON
Não faça com que um único prompt faça tudo. Uma primeira chamada barata pode classificar a mensagem, e seu código então decide o que fazer. O modo JSON torna a resposta legível por máquina.
import json
# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
messages=[
{"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
{"role": "user", "content": message},
],
max_tokens=60,
)
return json.loads(r.choices[0].message.content)
Use o resultado para escolher quais artigos de ajuda carregar, pular o modelo inteiramente para respostas pré-definidas ou pular direto para uma pessoa quando angry for verdadeiro. Sempre envolva json.loads em um bloco try, porque um modelo ainda pode retornar uma saída malformada em casos raros.
Transfira para um humano com uma chamada de função
A API suporta chamada de funções, então você pode dar ao modelo uma maneira explícita de escalar em vez de esperar que ele escreva uma recusa educada. Defina uma função, deixe o modelo chamá-la e deixe seu código fazer o trabalho real.
# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
"type": "function",
"function": {
"name": "handoff_to_human",
"description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
"parameters": {
"type": "object",
"properties": {"reason": {"type": "string"}},
"required": ["reason"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": "I was charged twice and I want a person to look at it."},
],
tools=tools,
tool_choice="auto",
max_tokens=200,
)
msg = r.choices[0].message
if msg.tool_calls:
print("Escalate:", msg.tool_calls[0].function.arguments)
else:
print(msg.content)
Quando uma chamada de função chega, crie o ticket, avise o cliente que uma pessoa responderá e pare o robô de responder aquele encadeamento. Também faça a transferência por regra: após duas respostas falhas consecutivas ou quando o cliente digitar "agente", pule o modelo inteiramente.
Quanto custa
O preço é $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída. Uma mensagem de suporte com o prompt de sistema, dois artigos de ajuda e um histórico curto pode enviar 3.000 tokens de entrada e receber uma resposta de 300 tokens. Entrada custa 3.000 x $0,15 / 1M = $0,00045. Saída custa 300 x $0,50 / 1M = $0,00015. Isso é $0,0006 por resposta.
Dez mil respostas custam $6,00. Adicione uma chamada de classificação de 200 tokens de entrada e 40 de saída ($0,00003 mais $0,00002, totalizando $0,00005) e dez mil conversas ainda custarão $6,50. Requisições falhas ou recusadas não são cobradas. Veja a página de preços para níveis de recarga e bônus.
Planeje também os limites: uma chave completa permite 8 requisições simultâneas e 300 por minuto. Um balcão ocupado deve enfileirar requisições e tentar novamente no HTTP 429 após o atraso Retry-After: 5. Uma resposta em streaming mantém seu espaço até ser concluída.
Quando um modelo sem censura é a escolha errada
Seja direto sobre isso. Um modelo ajustado para evitar recusas de conteúdo é feito para liberdade, não para segurança de marca. Em um chat de suporte público, um cliente pode direcionar a conversa para qualquer lugar, e você quer que o bot recuse solicitações fora do tópico ou abusivas. Um modelo com forte restrição interna faz parte desse trabalho para você. Este faz menos, então o trabalho inteiro recai sobre seu prompt de sistema e seus filtros.
Faz sentido quando o produto de suporte em si é voltado para adultos, por exemplo, uma plataforma de companheiro ou ficção onde membros perguntam sobre sua conta no mesmo chat que suas histórias. Também faz sentido para ferramentas internas, onde o público é sua própria equipe. Para um balcão geral de varejo ou bancário, um assistente convencional com políticas embutidas é a escolha padrão mais segura.
Se você for usá-lo, adicione barreiras de segurança no código: restrinja os tópicos no prompt do sistema, rejeite trocas longas fora do tópico, registre conversas para revisão e mantenha a transferência para humano a uma mensagem de distância. O limite rígido sobre conteúdo sexual envolvendo menores de idade aplica-se em todos os casos. Uma lista mais completa de verificações de lançamento está na lista de verificação de produção de chatbot IA sem censura.
Mantenha as respostas consistentes conforme seu texto de ajuda cresce
O prompt acima funciona enquanto o texto de ajuda é curto. Quando você tiver centenas de artigos, enviar todos é desperdício e confunde o modelo. Mantenha cada artigo de ajuda pequeno, um tópico por entrada, e armazene um título e algumas palavras-chave com ele. Escolha os dois ou três melhores para cada pergunta com uma correspondência simples de palavra-chave ou pesquisa, e envie apenas esses.
Data seus artigos de ajuda e remova os antigos. Um bot que cita a política de devoluções do ano passado é pior do que um bot que diz não ter certeza. Quando um cliente relatar uma resposta errada, encontre qual artigo o bot leu, corrija esse artigo e adicione a pergunta ao seu conjunto de testes para que o erro não volte sem ser notado.
Finalmente, mantenha um log simples de cada resposta com os títulos dos artigos que foram enviados junto. Quando alguém reclamar, você pode então ver em um minuto se a falha foi do modelo, da etapa de recuperação ou do próprio texto de ajuda.
Teste antes do lançamento
Construa um conjunto de cinquenta mensagens reais de clientes, incluindo as irritadas, as vagas e aquelas que o bot não deve responder. Execute todas, leia as respostas e conte com que frequência o bot inventa algo. Corrija o prompt, depois execute o conjunto inteiro novamente.
Você pode testar isso de ponta a ponta gratuitamente: a página de chave de API permite que novos usuários reivindiquem $0,50 de crédito de teste com um clique. A $0,0006 por resposta, isso são mais de 800 respostas de teste. Chaves de teste permitem 2 requisições simultâneas, então execute o conjunto de testes em um laço simples. Os detalhes da requisição estão na documentação.
