Entscheide, was der Bot tun darf
Schreibe vor dem Code einen einseitigen Umfang. Liste die Fragen auf, die der Bot beantworten darf (Bestellstatus, Öffnungszeiten, Passwort-Reset), die, die er an eine Person weiterleiten muss (Rückerstattungen über einem Limit, rechtliche Beschwerden, alles, was Sicherheit betrifft) und die Dinge, die er niemals tun darf (Richtlinien erfinden, Ergebnisse versprechen, medizinische oder rechtliche Ratschläge geben).
Dieser Umfang wird zu deinem System-Prompt und deiner Testmenge. Ein Support-Bot, der versucht, alles zu beantworten, wird früher oder später etwas Falsches mit Sicherheit behaupten. Ein enger Bot mit schneller Übergabe ist besser für Kunden und für dich.
Entscheide auch, ob das Modell das richtige ist. Diese API bietet ein einzelnes Open-Weight-Modell, das darauf optimiert ist, ohne Inhaltsablehnungen für legale Adult-Nutzung zu antworten. Das ist ein Feature für Fiktion und Adult-Produkte. Für ein typisches Unternehmens-Helpdesk ist es eher ein Risiko, und der letzte Abschnitt behandelt das im Detail.
Der Kernaufruf: Prompt plus deine eigenen Fakten
Das einfachste zuverlässige Design ist manuelles Retrieval. Du speicherst Hilfeartikel in deiner Datenbank, findest die zwei oder drei, die zur Kundenfrage passen, und füge sie in den Prompt ein. Das Modell antwortet dann nur auf Basis dieses Textes.
from openai import OpenAI
client = OpenAI(
base_url="https://api.apertusaichat.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""
def answer(question, help_text, history):
messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
messages += history[-6:]
messages.append({"role": "user", "content": question})
r = client.chat.completions.create(
model="uncensored",
messages=messages,
temperature=0.2,
max_tokens=250,
)
return r.choices[0].message.content
Zwei Einstellungen sind hier wichtig. Eine niedrige Temperatur (0,2) reduziert kreative Abweichungen, die du im Support nicht willst. Und history[-6:] hält nur die letzten sechs Nachrichten, sodass die Input-Kosten flach bleiben, egal wie lang der Chat dauert.
Intent mit JSON-Modus routen
Mache nicht einen einzigen Prompt für alles. Ein günstiger erster Aufruf kann die Nachricht klassifizieren, und dein Code entscheidet dann, was zu tun ist. Der JSON-Modus macht die Antwort maschinenlesbar.
import json
# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
messages=[
{"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
{"role": "user", "content": message},
],
max_tokens=60,
)
return json.loads(r.choices[0].message.content)
Nutze das Ergebnis, um zu entscheiden, welche Hilfeartikel geladen werden sollen, das Modell bei festen Antworten komplett zu überspringen oder direkt eine Person zu erreichen, wenn angry true ist. Packe json.loads immer in einen try-Block, da das Modell in seltenen Fällen noch fehlerhafte Ausgaben zurückgeben kann.
Übergabe an einen Menschen mit einem Tool-Aufruf
Die API unterstützt Function Calling, sodass du dem Modell einen expliziten Weg zur Eskalation geben kannst, anstatt darauf zu hoffen, dass es eine höfliche Ablehnung schreibt. Definiere eine Funktion, lass das Modell sie aufrufen, und lass deinen Code die eigentliche Arbeit erledigen.
# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
"type": "function",
"function": {
"name": "handoff_to_human",
"description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
"parameters": {
"type": "object",
"properties": {"reason": {"type": "string"}},
"required": ["reason"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": "I was charged twice and I want a person to look at it."},
],
tools=tools,
tool_choice="auto",
max_tokens=200,
)
msg = r.choices[0].message
if msg.tool_calls:
print("Escalate:", msg.tool_calls[0].function.arguments)
else:
print(msg.content)
Wenn ein Tool Call eingeht, erstelle das Ticket, teile dem Kunden mit, dass sich eine Person meldet, und stoppe den Bot vom Beantworten dieses Threads. Übergabe auch per Regel: nach zwei aufeinanderfolgenden fehlgeschlagenen Antworten oder wenn der Kunde "agent" eingibt, das Modell ganz überspringen.
Was es kostet
Der Preis beträgt 0,15 $ pro 1 Mio. Input-Token und 0,50 $ pro 1 Mio. Output-Token. Eine Support-Anfrage mit System-Prompt, zwei Hilfeartikeln und kurzer Historie könnte 3.000 Input-Token senden und eine Antwort mit 300 Token erhalten. Input kostet 3.000 × 0,15 $ / 1 Mio. = 0,00045 $. Output kostet 300 × 0,50 $ / 1 Mio. = 0,00015 $. Das sind 0,00060 $ pro Antwort.
Zehntausend Antworten kosten $6,00. Füge einen Klassifizierungsaufruf mit 200 Input- und 40 Output-Token hinzu ($0,00003 plus $0,00002, also $0,00005) und zehntausend Unterhaltungen kosten immer noch $6,50. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Siehe die Preisseite für Aufladungsstufen und Boni.
Plane auch für die Limits: Ein voller Schlüssel erlaubt 8 parallele Anfragen und 300 pro Minute. Ein ausgelastetes Helpdesk sollte Anfragen in eine Warteschlange stellen und bei HTTP 429 nach der Retry-After: 5-Verzögerung wiederholen. Eine gestreamte Antwort hält ihren Slot bis zum Abschluss.
Wenn ein unzensiertes Modell die falsche Wahl ist
Sei hier ehrlich. Ein Modell, das darauf optimiert ist, Inhaltsablehnungen zu vermeiden, ist für Freiheit gebaut, nicht für Markensicherheit. In einem öffentlichen Support-Chat kann ein Kunde das Gespräch in jede Richtung lenken, und du möchtest, dass der Bot themenfremde oder missbräuchliche Anfragen ablehnt. Ein Modell mit starker eingebauter Zurückhaltung übernimmt einen Teil dieser Arbeit für dich. Dieses hier übernimmt weniger, sodass die ganze Aufgabe deinem System-Prompt und deinen Filtern obliegt.
Es macht Sinn, wenn das Support-Produkt selbst adult-orientiert ist, zum Beispiel eine Companion- oder Fiktionsplattform, auf der Mitglieder in demselben Chat nach ihrem Konto fragen wie nach ihren Geschichten. Es macht auch Sinn für interne Tools, wo das Publikum deine eigenen Mitarbeiter sind. Für ein allgemeines Einzelhandels- oder Bank-Helpdesk ist ein konventioneller Assistent mit eingebauten Richtlinien die sicherere Standardwahl.
Wenn du es doch nutzt, füge Guardrails im Code hinzu: Beschränke die Themen im System-Prompt, lehne lange, vom Thema abweichende Gespräche ab, protokolliere Unterhaltungen zur Überprüfung und halte die Übergabe an einen Menschen auf eine Nachricht beschränkt. Die harte Grenze für sexuelle Inhalte mit Minderjährigen gilt in jedem Fall. Eine ausführlichere Liste der Release-Prüfungen findest du in der Unzensierter KI-Chat: Eine Produktions-Checkliste.
Halte Antworten konsistent, während deine Hilfetexte wachsen
Der obige Prompt funktioniert, solange der Hilfetext kurz ist. Sobald du Hunderte von Artikeln hast, ist das Senden aller verschwenderisch und verwirrt das Modell. Halte jeden Hilfeartikel klein, ein Thema pro Eintrag, und speichere einen Titel und einige Schlüsselwörter dazu. Wähle die besten zwei oder drei für jede Frage mit einem einfachen Schlüsselwort- oder Suchtreffer aus und sende nur diese.
Datier deine Hilfeartikel und entferne die alten. Ein Bot, der die Rückgaberichtlinie vom letzten Jahr zitiert, ist schlechter als ein Bot, der sagt, dass er nicht sicher ist. Wenn ein Kunde eine falsche Antwort meldet, finde heraus, welchen Artikel der Bot gelesen hat, korrigiere diesen Artikel und füge die Frage zu deiner Testmenge hinzu, damit der Fehler nicht unbemerkt wiederholt wird.
Führe schließlich ein einfaches Protokoll jeder Antwort mit den Artikel-Titeln, die zusammen gesendet wurden. Wenn sich jemand beschwert, kannst du dann in einer Minute sehen, ob der Fehler beim Modell, beim Retrieval-Schritt oder am Hilfetext selbst lag.
Teste vor dem Release
Erstelle eine Menge von fünfzig echten Kunden-Nachrichten, darunter wütende, vage und solche, auf die der Bot nicht antworten sollte. Führe sie alle aus, lies die Antworten und zähle, wie oft der Bot etwas erfindet. Korrigiere den Prompt und führe dann die gesamte Menge erneut aus.
Du kannst dies kostenlos end-to-end testen: Die API-Schlüssel-Seite lässt neue Benutzer mit einem Klick 0,50 $ an kostenlosem Testguthaben beanspruchen. Bei 0,00060 $ pro Antwort sind das mehr als 800 Testantworten. Test-Schlüssel erlauben 2 parallele Anfragen, also führe die Testmenge in einer einfachen Schleife aus. Details zur Anfrage findest du in den Docs.
