DE ▾

KI-Chatbot für Kundenservice: Bauen mit einer API

Ein KI-Chatbot für den Kundenservice besteht aus drei Teilen: einem Prompt, der die Grenzen festlegt, den Fakten, auf die er antworten darf, und einem klaren Weg zur Übergabe an einen Menschen. Dieser Leitfaden baut das auf einer OpenAI-kompatiblen API auf, zeigt die Kosten pro Nachricht und sagt, wann dieses spezifische Modell die falsche Wahl ist.

Zuletzt aktualisiert

Isometrischer Support-Schreibtisch mit Nachrichten-Karten, sortiert in Spuren, eine führt zu einer Übergabe-Brücke für menschliche Hilfe

Entscheide, was der Bot tun darf

Schreibe vor dem Code einen einseitigen Umfang. Liste die Fragen auf, die der Bot beantworten darf (Bestellstatus, Öffnungszeiten, Passwort-Reset), die, die er an eine Person weiterleiten muss (Rückerstattungen über einem Limit, rechtliche Beschwerden, alles, was Sicherheit betrifft) und die Dinge, die er niemals tun darf (Richtlinien erfinden, Ergebnisse versprechen, medizinische oder rechtliche Ratschläge geben).

Dieser Umfang wird zu deinem System-Prompt und deiner Testmenge. Ein Support-Bot, der versucht, alles zu beantworten, wird früher oder später etwas Falsches mit Sicherheit behaupten. Ein enger Bot mit schneller Übergabe ist besser für Kunden und für dich.

Entscheide auch, ob das Modell das richtige ist. Diese API bietet ein einzelnes Open-Weight-Modell, das darauf optimiert ist, ohne Inhaltsablehnungen für legale Adult-Nutzung zu antworten. Das ist ein Feature für Fiktion und Adult-Produkte. Für ein typisches Unternehmens-Helpdesk ist es eher ein Risiko, und der letzte Abschnitt behandelt das im Detail.

Der Kernaufruf: Prompt plus deine eigenen Fakten

Das einfachste zuverlässige Design ist manuelles Retrieval. Du speicherst Hilfeartikel in deiner Datenbank, findest die zwei oder drei, die zur Kundenfrage passen, und füge sie in den Prompt ein. Das Modell antwortet dann nur auf Basis dieses Textes.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.apertusaichat.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""

def answer(question, help_text, history):
    messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
    messages += history[-6:]
    messages.append({"role": "user", "content": question})
    r = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        temperature=0.2,
        max_tokens=250,
    )
    return r.choices[0].message.content

Zwei Einstellungen sind hier wichtig. Eine niedrige Temperatur (0,2) reduziert kreative Abweichungen, die du im Support nicht willst. Und history[-6:] hält nur die letzten sechs Nachrichten, sodass die Input-Kosten flach bleiben, egal wie lang der Chat dauert.

Intent mit JSON-Modus routen

Mache nicht einen einzigen Prompt für alles. Ein günstiger erster Aufruf kann die Nachricht klassifizieren, und dein Code entscheidet dann, was zu tun ist. Der JSON-Modus macht die Antwort maschinenlesbar.

import json

# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
    r = client.chat.completions.create(
        model="uncensored",
        response_format={"type": "json_object"},
        temperature=0,
        messages=[
            {"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
            {"role": "user", "content": message},
        ],
        max_tokens=60,
    )
    return json.loads(r.choices[0].message.content)

Nutze das Ergebnis, um zu entscheiden, welche Hilfeartikel geladen werden sollen, das Modell bei festen Antworten komplett zu überspringen oder direkt eine Person zu erreichen, wenn angry true ist. Packe json.loads immer in einen try-Block, da das Modell in seltenen Fällen noch fehlerhafte Ausgaben zurückgeben kann.

Übergabe an einen Menschen mit einem Tool-Aufruf

Die API unterstützt Function Calling, sodass du dem Modell einen expliziten Weg zur Eskalation geben kannst, anstatt darauf zu hoffen, dass es eine höfliche Ablehnung schreibt. Definiere eine Funktion, lass das Modell sie aufrufen, und lass deinen Code die eigentliche Arbeit erledigen.

# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
    "type": "function",
    "function": {
        "name": "handoff_to_human",
        "description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
        "parameters": {
            "type": "object",
            "properties": {"reason": {"type": "string"}},
            "required": ["reason"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": "I was charged twice and I want a person to look at it."},
    ],
    tools=tools,
    tool_choice="auto",
    max_tokens=200,
)

msg = r.choices[0].message
if msg.tool_calls:
    print("Escalate:", msg.tool_calls[0].function.arguments)
else:
    print(msg.content)

Wenn ein Tool Call eingeht, erstelle das Ticket, teile dem Kunden mit, dass sich eine Person meldet, und stoppe den Bot vom Beantworten dieses Threads. Übergabe auch per Regel: nach zwei aufeinanderfolgenden fehlgeschlagenen Antworten oder wenn der Kunde "agent" eingibt, das Modell ganz überspringen.

Was es kostet

Der Preis beträgt 0,15 $ pro 1 Mio. Input-Token und 0,50 $ pro 1 Mio. Output-Token. Eine Support-Anfrage mit System-Prompt, zwei Hilfeartikeln und kurzer Historie könnte 3.000 Input-Token senden und eine Antwort mit 300 Token erhalten. Input kostet 3.000 × 0,15 $ / 1 Mio. = 0,00045 $. Output kostet 300 × 0,50 $ / 1 Mio. = 0,00015 $. Das sind 0,00060 $ pro Antwort.

Zehntausend Antworten kosten $6,00. Füge einen Klassifizierungsaufruf mit 200 Input- und 40 Output-Token hinzu ($0,00003 plus $0,00002, also $0,00005) und zehntausend Unterhaltungen kosten immer noch $6,50. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Siehe die Preisseite für Aufladungsstufen und Boni.

Plane auch für die Limits: Ein voller Schlüssel erlaubt 8 parallele Anfragen und 300 pro Minute. Ein ausgelastetes Helpdesk sollte Anfragen in eine Warteschlange stellen und bei HTTP 429 nach der Retry-After: 5-Verzögerung wiederholen. Eine gestreamte Antwort hält ihren Slot bis zum Abschluss.

Wenn ein unzensiertes Modell die falsche Wahl ist

Sei hier ehrlich. Ein Modell, das darauf optimiert ist, Inhaltsablehnungen zu vermeiden, ist für Freiheit gebaut, nicht für Markensicherheit. In einem öffentlichen Support-Chat kann ein Kunde das Gespräch in jede Richtung lenken, und du möchtest, dass der Bot themenfremde oder missbräuchliche Anfragen ablehnt. Ein Modell mit starker eingebauter Zurückhaltung übernimmt einen Teil dieser Arbeit für dich. Dieses hier übernimmt weniger, sodass die ganze Aufgabe deinem System-Prompt und deinen Filtern obliegt.

Es macht Sinn, wenn das Support-Produkt selbst adult-orientiert ist, zum Beispiel eine Companion- oder Fiktionsplattform, auf der Mitglieder in demselben Chat nach ihrem Konto fragen wie nach ihren Geschichten. Es macht auch Sinn für interne Tools, wo das Publikum deine eigenen Mitarbeiter sind. Für ein allgemeines Einzelhandels- oder Bank-Helpdesk ist ein konventioneller Assistent mit eingebauten Richtlinien die sicherere Standardwahl.

Wenn du es doch nutzt, füge Guardrails im Code hinzu: Beschränke die Themen im System-Prompt, lehne lange, vom Thema abweichende Gespräche ab, protokolliere Unterhaltungen zur Überprüfung und halte die Übergabe an einen Menschen auf eine Nachricht beschränkt. Die harte Grenze für sexuelle Inhalte mit Minderjährigen gilt in jedem Fall. Eine ausführlichere Liste der Release-Prüfungen findest du in der Unzensierter KI-Chat: Eine Produktions-Checkliste.

Halte Antworten konsistent, während deine Hilfetexte wachsen

Der obige Prompt funktioniert, solange der Hilfetext kurz ist. Sobald du Hunderte von Artikeln hast, ist das Senden aller verschwenderisch und verwirrt das Modell. Halte jeden Hilfeartikel klein, ein Thema pro Eintrag, und speichere einen Titel und einige Schlüsselwörter dazu. Wähle die besten zwei oder drei für jede Frage mit einem einfachen Schlüsselwort- oder Suchtreffer aus und sende nur diese.

Datier deine Hilfeartikel und entferne die alten. Ein Bot, der die Rückgaberichtlinie vom letzten Jahr zitiert, ist schlechter als ein Bot, der sagt, dass er nicht sicher ist. Wenn ein Kunde eine falsche Antwort meldet, finde heraus, welchen Artikel der Bot gelesen hat, korrigiere diesen Artikel und füge die Frage zu deiner Testmenge hinzu, damit der Fehler nicht unbemerkt wiederholt wird.

Führe schließlich ein einfaches Protokoll jeder Antwort mit den Artikel-Titeln, die zusammen gesendet wurden. Wenn sich jemand beschwert, kannst du dann in einer Minute sehen, ob der Fehler beim Modell, beim Retrieval-Schritt oder am Hilfetext selbst lag.

Teste vor dem Release

Erstelle eine Menge von fünfzig echten Kunden-Nachrichten, darunter wütende, vage und solche, auf die der Bot nicht antworten sollte. Führe sie alle aus, lies die Antworten und zähle, wie oft der Bot etwas erfindet. Korrigiere den Prompt und führe dann die gesamte Menge erneut aus.

Du kannst dies kostenlos end-to-end testen: Die API-Schlüssel-Seite lässt neue Benutzer mit einem Klick 0,50 $ an kostenlosem Testguthaben beanspruchen. Bei 0,00060 $ pro Antwort sind das mehr als 800 Testantworten. Test-Schlüssel erlauben 2 parallele Anfragen, also führe die Testmenge in einer einfachen Schleife aus. Details zur Anfrage findest du in den Docs.

Häufige Fragen

Wie stoppe ich, dass der Chatbot Dinge erfindet?

Gib ihm nur deine eigenen Hilfetexte, weise ihn an, Unsicherheit zu signalisieren, wenn der Text keine Antwort enthält, nutze eine niedrige Temperatur und teste mit nicht abgedeckten Fragen.

Wie viel kostet eine Support-Antwort?

Eine Antwort mit 3.000 Input-Token und 300 Output-Token kostet $0,0006. Zehntausend solcher Antworten kosten $6,00.

Kann der Bot Tickets erstellen oder Bestellungen nachschlagen?

Ja, über Function Calling. Das Modell fragt eine Funktion mit Argumenten an, und dein Code ruft dein reales System auf und gibt das Ergebnis als Nachricht mit der Rolle tool zurück.

Sollte ich diese API für ein öffentliches Helpdesk verwenden?

Normalerweise nicht. Das Modell ist darauf abgestimmt, Inhaltsablehnungen zu vermeiden, daher eignet es sich besser für Adult-Plattformen und interne Tools als für einen öffentlichen Marken-Helpdesk.

Hole dir jetzt deinen API-Schlüssel

Registriere dich, kopiere den Token, aktualisiere deine Base URL. Die Einrichtung ist abgeschlossen.