Décidez ce que le bot a le droit de faire
Avant tout code, rédigez un périmètre d'une page. Listez les questions auxquelles le bot peut répondre (statut de commande, heures d'ouverture, comment réinitialiser un mot de passe), celles qu'il doit passer à une personne (remboursements au-dessus d'une limite, plaintes légales, tout ce qui implique la sécurité) et les choses qu'il ne doit jamais faire (inventer des politiques, promettre des résultats, donner des conseils médicaux ou juridiques).
Ce périmètre devient votre prompt système et votre ensemble de tests. Un bot de support qui essaie de tout répondre finira par affirmer quelque chose de faux avec assurance. Un bot étroit avec un renvoi rapide est meilleur pour les clients et pour vous.
Décidez également si le modèle est le bon. Cette API propose un seul modèle à poids ouverts, ajusté pour répondre sans refus de contenu pour un usage adulte licite. C'est un avantage pour la fiction et les produits destinés aux adultes. Pour un service client d'entreprise classique, cela s'apparente davantage à un risque, et la dernière section l'aborde en détail.
L'appel principal : prompt plus vos propres faits
La conception fiable la plus simple est la récupération manuelle. Vous gardez des articles d'aide dans votre base de données, trouvez les deux ou trois qui correspondent à la question du client et collez-les dans le prompt. Le modèle répond ensuite uniquement à partir de ce texte.
from openai import OpenAI
client = OpenAI(
base_url="https://api.apertusaichat.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""
def answer(question, help_text, history):
messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
messages += history[-6:]
messages.append({"role": "user", "content": question})
r = client.chat.completions.create(
model="uncensored",
messages=messages,
temperature=0.2,
max_tokens=250,
)
return r.choices[0].message.content
Deux paramètres sont importants ici. Une température faible (0,2) réduit la dérive créative, ce que vous ne souhaitez pas dans le support. Et history[-6:] ne conserve que les six derniers messages, afin que le coût d'entrée reste constant quelle que soit la durée de la conversation.
Routage de l'intention avec le mode JSON
Ne faites pas tout faire par un seul prompt. Un premier appel peu coûteux peut classifier le message, et votre code décide ensuite quoi faire. Le mode JSON rend la réponse lisible par une machine.
import json
# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
messages=[
{"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
{"role": "user", "content": message},
],
max_tokens=60,
)
return json.loads(r.choices[0].message.content)
Utilisez le résultat pour choisir quels articles de la base de connaissances charger, pour contourner le modèle pour des réponses fixes, ou pour passer directement à un humain lorsque angry est vrai. Entourez toujours json.loads d'un bloc try, car un modèle peut encore retourner une sortie malformée dans de rares cas.
Renvoi à un humain avec un appel d'outil
L'API prend en charge l'appel de fonctions, vous pouvez donc donner au modèle un moyen explicite de transférer la requête au lieu d'espérer qu'il rédige un refus poli. Définissez une fonction, laissez le modèle l'appeler, et laissez votre code effectuer le travail réel.
# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
"type": "function",
"function": {
"name": "handoff_to_human",
"description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
"parameters": {
"type": "object",
"properties": {"reason": {"type": "string"}},
"required": ["reason"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": "I was charged twice and I want a person to look at it."},
],
tools=tools,
tool_choice="auto",
max_tokens=200,
)
msg = r.choices[0].message
if msg.tool_calls:
print("Escalate:", msg.tool_calls[0].function.arguments)
else:
print(msg.content)
Lorsqu’un appel de fonction arrive, créez le ticket, informez le client qu’une personne répondra, et empêchez le bot de répondre à ce fil. Transférez également par règle : après deux réponses échouées consécutives, ou lorsque le client tape « agent », passez directement à l’agent sans utiliser le modèle.
Ce que cela coûte
La tarification est de $0,15 par 1M de tokens d'entrée et de $0,50 par 1M de tokens de sortie. Un message de support avec le prompt système, deux articles d'aide et un historique court peut envoyer 3 000 tokens d'entrée et recevoir une réponse de 300 tokens. L'entrée coûte 3 000 x $0,15 / 1M = $0,00045. La sortie coûte 300 x $0,50 / 1M = $0,00015. Cela fait $0,0006 par réponse.
Dix mille réponses coûtent $6,00. Ajoutez un appel de classification de 200 tokens d'entrée et 40 tokens de sortie ($0,00003 plus $0,00002, soit $0,00005) et dix mille conversations coûtent toujours $6,50. Les requêtes échouées ou refusées ne sont pas facturées. Voir la page de tarification pour les paliers de rechargement et les bonus.
Prévoyez également les limites : une clé complète permet 8 requêtes simultanées et 300 par minute. Un service client occupé doit mettre en file d'attente les requêtes et réessayer sur HTTP 429 après le délai Retry-After: 5. Une réponse en streaming occupe son emplacement jusqu'à sa fin.
Quand un modèle sans censure est un mauvais choix
Soyez direct à ce sujet. Un modèle ajusté pour éviter les refus de contenu est conçu pour la liberté, pas pour la sécurité de la marque. Dans un chat de support public, un client peut orienter la conversation partout, et vous voulez que le bot décline les demandes hors sujet ou abusives. Un modèle avec une retenue intégrée forte fait une partie de ce travail pour vous. Celui-ci en fait moins, donc tout le travail repose sur votre prompt système et vos filtres.
Cela a du sens lorsque le produit de support lui-même est orienté adultes, par exemple une plateforme de compagnon ou de fiction où les membres demandent des nouvelles de leur compte dans la même conversation que leurs histoires. Cela a également du sens pour les outils internes, où l'audience est votre propre personnel. Pour un guichet de vente au détail ou bancaire généraliste, un assistant conventionnel avec des politiques intégrées est l'option par défaut plus sûre.
Si vous l'utilisez, ajoutez des garde-fous dans le code : restreignez les sujets dans le prompt système, rejetez les échanges longs hors sujet, enregistrez les conversations pour examen et gardez le renvoi à un humain à un message. La limite stricte sur le contenu sexuel impliquant des mineurs s'applique dans tous les cas. Une liste plus complète des vérifications de sortie est dans la liste de contrôle de chatbot IA sans censure en production.
Gardez les réponses cohérentes à mesure que votre texte d'aide grandit
Le prompt ci-dessus fonctionne tant que le texte d'aide est court. Une fois que vous avez des centaines d'articles, envoyer tous ces articles est gaspilleur et confond le modèle. Gardez chaque article d'aide petit, un sujet par entrée, et stockez un titre et quelques mots-clés avec celui-ci. Choisissez les deux ou trois meilleurs pour chaque question avec une correspondance simple de mot-clé ou de recherche, et n'envoyez que ceux-là.
Datez vos articles d'aide et supprimez les anciens. Un bot qui cite la politique de retour de l'année dernière est pire qu'un bot qui dit qu'il n'est pas sûr. Quand un client signale une mauvaise réponse, trouvez quel article le bot a lu, corrigez cet article et ajoutez la question à votre ensemble de tests pour que l'erreur ne revienne pas sans être remarquée.
Enfin, gardez un journal simple de chaque réponse avec les titres d'articles qui ont été envoyés avec elle. Quand quelqu'un se plaint, vous pouvez alors voir en une minute si la faute était le modèle, l'étape de récupération ou le texte d'aide lui-même.
Testez avant le lancement
Construisez un ensemble de cinquante messages clients réels, y compris des messages en colère, vagues et ceux que le bot ne devrait pas répondre. Exécutez-les tous, lisez les réponses et comptez à quelle fréquence le bot invente quelque chose. Corrigez le prompt, puis relancez l'ensemble entier.
Vous pouvez essayer cela de bout en bout gratuitement : la page des clés API permet aux nouveaux utilisateurs de réclamer $0,50 de crédit d'essai en un clic. À $0,0006 par réponse, cela représente plus de 800 réponses de test. Les clés d'essai permettent 2 requêtes simultanées, exécutez donc l'ensemble de test dans une boucle simple. Les détails de la requête sont dans la documentation.
