Decide qué puede hacer el bot
Antes de cualquier código, escribe un alcance de una página. Lista las preguntas que el bot puede responder (estado del pedido, horarios de apertura, cómo restablecer una contraseña), las que debe pasar a una persona (reembolsos por encima de un límite, quejas legales, cualquier cosa que implique seguridad) y las cosas que nunca debe hacer (inventar políticas, prometer resultados, dar consejos médicos o legales).
Este alcance se convierte en tu prompt del sistema y tu conjunto de pruebas. Un bot de soporte que intenta responder todo dirá algo falso con confianza tarde o temprano. Un bot estrecho con una derivación rápida es mejor para los clientes y para ti.
También decide si el modelo es el adecuado. Esta API sirve un único modelo de pesos abiertos ajustado para responder sin rechazos de contenido para uso adulto lícito. Esa es una característica para ficción y productos orientados a adultos. Para una mesa de ayuda empresarial típica se acerca más a un riesgo, y la última sección lo cubre en detalle.
La llamada principal: prompt más tus propios datos
El diseño más fiable y simple es la recuperación manual. Mantienes artículos de ayuda en tu base de datos, encuentras los dos o tres que coinciden con la pregunta del cliente y los pegas en el prompt. El modelo responde solo a partir de ese texto.
from openai import OpenAI
client = OpenAI(
base_url="https://api.apertusaichat.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""
def answer(question, help_text, history):
messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
messages += history[-6:]
messages.append({"role": "user", "content": question})
r = client.chat.completions.create(
model="uncensored",
messages=messages,
temperature=0.2,
max_tokens=250,
)
return r.choices[0].message.content
Dos ajustes importan aquí. Una temperatura baja (0.2) reduce la deriva creativa, que no quieres en soporte. Y history[-6:] mantiene solo los últimos seis mensajes, así que el coste de entrada se mantiene plano sin importar cuánto dure el chat.
Enruta la intención con modo JSON
No hagas que un solo prompt haga todo. Una primera llamada barata puede clasificar el mensaje, y tu código decide qué hacer. El modo JSON hace que la respuesta sea legible por máquina.
import json
# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
messages=[
{"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
{"role": "user", "content": message},
],
max_tokens=60,
)
return json.loads(r.choices[0].message.content)
Usa el resultado para elegir qué artículos de ayuda cargar, para saltarte el modelo por completo para respuestas fijas, o para ir directamente a una persona cuando angry es true. Envuelve siempre json.loads en un bloque try, porque un modelo aún puede devolver salida malformada en casos raros.
Deriva a un humano con una llamada a función
La API admite llamadas a funciones, así que puedes darle al modelo una forma explícita de escalar en lugar de esperar que escriba una negativa educada. Define una función, permite que el modelo la llame y deja que tu código haga el trabajo real.
# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
"type": "function",
"function": {
"name": "handoff_to_human",
"description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
"parameters": {
"type": "object",
"properties": {"reason": {"type": "string"}},
"required": ["reason"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": "I was charged twice and I want a person to look at it."},
],
tools=tools,
tool_choice="auto",
max_tokens=200,
)
msg = r.choices[0].message
if msg.tool_calls:
print("Escalate:", msg.tool_calls[0].function.arguments)
else:
print(msg.content)
Cuando llega una llamada a herramienta, crea el ticket, avisa al cliente de que una persona responderá y detén al bot de responder en ese hilo. También traspasa por regla: tras dos respuestas fallidas consecutivas, o cuando el cliente escribe "agent", salta el modelo por completo.
Lo que cuesta
La tarificación es $0,15 por 1M de tokens de entrada y $0,50 por 1M de tokens de salida. Un mensaje de soporte con el prompt del sistema, dos artículos de ayuda y un historial corto podría enviar 3.000 tokens de entrada y recibir una respuesta de 300 tokens. La entrada cuesta 3.000 x $0,15 / 1M = $0,00045. La salida cuesta 300 x $0,50 / 1M = $0,00015. Eso es $0,0006 por respuesta.
Diez mil respuestas cuestan $6,00. Añade una llamada de clasificación de 200 tokens de entrada y 40 de salida ($0,00003 más $0,00002, es decir $0,00005) y diez mil conversaciones aún cuestan $6,50. Las peticiones fallidas o rechazadas no se cobran. Consulta la página de tarificación para ver niveles de recarga y bonificaciones.
Planifica también los límites: una clave completa permite 8 peticiones simultáneas y 300 por minuto. Una mesa de ayuda ocupada debe hacer cola de peticiones y reintentar en HTTP 429 tras el retraso Retry-After: 5. Una respuesta en streaming mantiene su espacio hasta que termina.
Cuándo un modelo sin censura no es la opción correcta
Sé directo con esto. Un modelo ajustado para evitar rechazos de contenido está diseñado para la libertad, no para la seguridad de la marca. En un chat de soporte público, un cliente puede dirigir la conversación a cualquier lado, y quieres que el bot rechace peticiones fuera de tema o abusivas. Un modelo con restricción integrada fuerte hace parte de ese trabajo por ti. Este hace menos, así que todo el trabajo recae en tu prompt del sistema y tus filtros.
Tiene sentido cuando el producto de soporte en sí es para adultos, por ejemplo una plataforma de compañía o ficción donde los miembros preguntan sobre su cuenta en el mismo chat que sus historias. También tiene sentido para herramientas internas, donde la audiencia es tu propio personal. Para un mostrador minorista o bancario general, un asistente convencional con políticas integradas es la opción predeterminada más segura.
Si lo usas, añade guardrails en código: restringe los temas en el prompt del sistema, rechaza intercambios largos fuera de tema, registra conversaciones para revisión y mantén el traspaso a humano a un mensaje de distancia. El límite estricto sobre contenido sexual que involucre menores de edad se aplica en todos los casos. Una lista más completa de verificaciones de lanzamiento está en la lista de verificación de producción de chat IA sin censura.
Mantén respuestas consistentes a medida que crece tu texto de ayuda
El prompt anterior funciona mientras el texto de ayuda es corto. Una vez que tengas cientos de artículos, enviarlos todos es un desperdicio y confunde al modelo. Mantén cada artículo de ayuda pequeño, un tema por entrada, y almacena un título y algunas palabras clave con él. Elige los dos o tres mejores para cada pregunta con una coincidencia simple de palabras clave o búsqueda, y envía solo esos.
Fecha tus artículos de ayuda y elimina los antiguos. Un bot que cita la política de devoluciones del año pasado es peor que un bot que dice que no está seguro. Cuando un cliente reporte una respuesta incorrecta, encuentra qué artículo leyó el bot, corrige ese artículo y añade la pregunta a tu conjunto de pruebas para que el error no vuelva a pasar desapercibido.
Finalmente, mantén un registro simple de cada respuesta con los títulos de los artículos que se enviaron junto con ella. Cuando alguien se queje, podrás ver en un minuto si la culpa fue del modelo, el paso de recuperación o el texto de ayuda en sí.
Prueba antes del lanzamiento
Construye un conjunto de cincuenta mensajes reales de clientes, incluyendo enojados, vagos y aquellos que el bot no debería responder. Ejecútalos todos, lee las respuestas y cuenta con qué frecuencia el bot inventa algo. Corrige el prompt, luego vuelve a ejecutar todo el conjunto.
Puedes probar esto de extremo a extremo gratis: la página de clave de API permite a nuevos usuarios reclamar $0,50 de crédito de prueba con un clic. A $0,0006 por respuesta son más de 800 respuestas de prueba. Las claves de prueba permiten 2 peticiones simultáneas, así que ejecuta el conjunto de pruebas en un bucle simple. Los detalles de la petición están en la documentación.
