RU ▾

Чат-бот для поддержки: создание через API

Чат-бот для обслуживания клиентов состоит из трех частей: промпт, задающий его границы, факты, из которых он может отвечать, и четкий путь к человеку. Это руководство создает это на основе API, совместимого с OpenAI, показывает стоимость сообщения и указывает, когда эта конкретная модель является неправильным выбором.

Последнее обновление

Изометрическая стойка поддержки с карточками сообщений, разложенными по линиям, одна из которых ведет к мостику передачи человеку

Решите, что боту разрешено делать

Перед написанием кода составьте описание границ бота на одну страницу. Перечислите вопросы, на которые бот может ответить (статус заказа, часы работы, как сбросить пароль), те, которые следует передать человеку (возврат средств свыше лимита, юридические жалобы, все, что связано с безопасностью), и то, что бот никогда не должен делать (изобретать политики, обещать результаты, давать медицинские или юридические советы).

Это описание станет вашим системным промптом и набором тестов. Бот поддержки, пытающийся ответить на всё, рано или поздно уверенно выдаст ложь. Узкий бот с быстрой передачей человеку лучше и для клиентов, и для вас.

Также решите, подходит ли эта модель. Этот API обслуживает единственную модель с открытыми весами, настроенную на ответы без отказов от контента для законного использования взрослыми. Это особенность для художественной литературы и продуктов для взрослых. Для обычной корпоративной службы поддержки это скорее риск, и последний раздел подробно это описывает.

Основной вызов: промпт плюс ваши факты

Самый простой надёжный вариант — ручной подбор материалов. Храните статьи в своей базе данных, находите две-три, подходящие под вопрос клиента, и вставляйте их в промпт. Модель затем отвечает только на основе этого текста.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.apertusaichat.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""

def answer(question, help_text, history):
    messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
    messages += history[-6:]
    messages.append({"role": "user", "content": question})
    r = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        temperature=0.2,
        max_tokens=250,
    )
    return r.choices[0].message.content

Здесь важны два параметра. Низкая температура (0,2) снижает креативный дрейф, который вам не нужен в поддержке. И history[-6:] сохраняет только последние шесть сообщений, так что стоимость входа остается постоянной независимо от длины чата.

Маршрутизация намерений через JSON-режим

Не заставляйте один промпт делать всё. Дешевый первый вызов может классифицировать сообщение, а ваш код решит, что делать дальше. JSON-режим делает ответ машиночитаемым.

import json

# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
    r = client.chat.completions.create(
        model="uncensored",
        response_format={"type": "json_object"},
        temperature=0,
        messages=[
            {"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
            {"role": "user", "content": message},
        ],
        max_tokens=60,
    )
    return json.loads(r.choices[0].message.content)

Используйте результат, чтобы выбрать, какие статьи справочника загружать, чтобы полностью пропустить модель для фиксированных ответов или сразу перейти к человеку, когда angry истинно. Всегда оборачивайте json.loads в блок try, потому что модель все еще может вернуть некорректный вывод в редких случаях.

Передача человеку через вызов функции

API поддерживает вызов функций, поэтому вы можете дать модели явный способ эскалации, вместо того чтобы надеяться, что она напишет вежливый отказ. Определите функцию, позвольте модели её вызвать, а ваш код выполнит реальную работу.

# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
    "type": "function",
    "function": {
        "name": "handoff_to_human",
        "description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
        "parameters": {
            "type": "object",
            "properties": {"reason": {"type": "string"}},
            "required": ["reason"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": "I was charged twice and I want a person to look at it."},
    ],
    tools=tools,
    tool_choice="auto",
    max_tokens=200,
)

msg = r.choices[0].message
if msg.tool_calls:
    print("Escalate:", msg.tool_calls[0].function.arguments)
else:
    print(msg.content)

При получении вызова функции создайте тикет, сообщите клиенту, что ответит человек, и остановите бота в этой ветке. Также передавайте по правилу: после двух неудачных ответов подряд или когда клиент вводит «agent», полностью пропускайте модель.

Что это стоит

Тарификация: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов. Сообщение поддержки с системным промптом, двумя статьями и короткой историей может отправить 3 000 входных токенов и получить ответ на 300 токенов. Входные данные стоят 3 000 x $0,15 / 1 млн = $0,00045. Выходные данные стоят 300 x $0,50 / 1 млн = $0,00015. Итого $0,0006 за ответ.

Десять тысяч ответов стоят $6,00. Добавьте вызов классификации на 200 входных и 40 выходных токенов ($0,00003 плюс $0,00002, итого $0,00005), и десять тысяч диалогов все равно обойдутся в $6,50. Отказанные или ошибочные запросы не оплачиваются. См. страницу тарифов для уровней пополнения и бонусов.

Планируйте с учетом лимитов: полный ключ позволяет 8 параллельных запросов и 300 в минуту. Нагруженной службе следует ставить запросы в очередь и повторять их при HTTP 429 после задержки Retry-After: 5. Потоковая передача удерживает слот до завершения.

Когда модель без цензуры — не лучший выбор

Будьте откровенны в этом вопросе. Модель, настроенная на то, чтобы избегать отказов от контента, создана для свободы, а не для безопасности бренда. В публичном чате поддержки клиент может направить разговор в любую сторону, и вы хотите, чтобы бот отклонял нерелевантные или оскорбительные запросы. Модель с сильными встроенными ограничениями берет на себя часть этой работы. Эта модель делает меньше, поэтому вся нагрузка ложится на ваш системный промпт и ваши фильтры.

Это имеет смысл, когда продукт поддержки сам ориентирован на 18+, например платформа для общения или художественной литературы, где участники спрашивают об аккаунте в том же чате, где и о своих историях. Это также имеет смысл для внутренних инструментов, где аудитория — ваши сотрудники. Для розничной торговли или банковского сектора обычная модель с встроенными политиками — более безопасный выбор по умолчанию.

Если вы всё же используете её, добавьте ограничения в коде: ограничьте темы в системном промпте, отклоняйте длинные отклонения от темы, логируйте диалоги для проверки и держите передачу человеку в одном сообщении. Жесткий лимит на сексуальный контент с участием несовершеннолетних применяется всегда. Полный список проверок выпуска см. в чек-листе запуска чат-бота без цензуры.

Сохраняйте согласованность ответов по мере роста базы знаний

Промпт выше работает, пока база знаний небольшая. Когда у вас сотни статей, отправка всех их расточительна и сбивает модель с толку. Делайте каждую статью небольшой, по одной теме на запись, и храните заголовок с несколькими ключевыми словами. Выбирайте лучшие две-три для каждого вопроса с помощью простого поиска по ключевым словам и отправляйте только их.

Датируйте статьи и удаляйте старые. Бот, цитирующий прошлогоднюю политику возврата, хуже бота, который говорит «не уверен». Когда клиент сообщает об ошибке, найдите статью, которую прочитал бот, исправьте её и добавьте вопрос в набор тестов, чтобы ошибка не повторилась незамеченной.

Наконец, ведите простой журнал каждого ответа с названиями отправленных статей. Когда кто-то пожалуется, вы сможете за минуту понять, была ли ошибка в модели, этапе поиска или в самой базе знаний.

Протестируйте перед запуском

Соберите набор из пятидесяти реальных сообщений клиентов, включая злые, размытые и те, на которые бот не должен отвечать. Запустите их все, прочитайте ответы и посчитайте, как часто бот выдумывает что-то. Исправьте промпт, затем запустите набор снова.

Вы можете попробовать это бесплатно: страница API-ключей позволяет новым пользователям получить $0,50 пробного баланса в один клик. При стоимости $0,0006 за ответ это более 800 тестовых ответов. Пробные ключи позволяют 2 параллельных запроса, поэтому запускайте набор тестов в простом цикле. Подробности запросов см. в документации.

Часто задаваемые вопросы

Как заставить чат-бот не выдумывать факты?

Давайте ему только ваш собственный справочный текст, поручите ему сообщать, что он не уверен, если в тексте нет ответа, используйте низкую температуру и тестируйте с вопросами, которые не охвачены.

Сколько стоит ответ поддержки?

Ответ, использующий 3 000 входных токенов и 300 выходных токенов, стоит $0,0006. Десять тысяч таких ответов стоят $6,00.

Может ли бот создавать тикеты или искать заказы?

Да, через вызов функций. Модель запрашивает функцию с аргументами, а ваш код вызывает вашу реальную систему и возвращает результат в виде сообщения с ролью tool.

Стоит ли использовать этот API для публичной службы поддержки?

Обычно нет. Модель настроена на то, чтобы избегать отказов от контента, поэтому она лучше подходит для платформ, ориентированных на взрослую аудиторию, и внутренних инструментов, чем для публичной службы поддержки бренда.

Получите свой API-ключ

Зарегистрируйтесь, скопируйте токен, обновите базовый URL. Настройка завершена.