中文 ▾

AI 客服机器人:通过 API 构建

AI 客服机器人由三部分组成:设定其限制的提示词、可回答的事实来源,以及通向人工的清晰路径。本指南基于 OpenAI 兼容 API 构建该机器人,展示每条消息的成本,并说明何时该模型不是正确选择。

最后更新于

等距支持台,消息卡片按通道分类,其中一个通道通向人工帮助的交接桥

决定机器人被允许做什么

在任何代码之前,编写一页范围说明。列出机器人可以回答的问题(订单状态、营业时间、如何重置密码),必须转接给人的问题(超过限额的退款、法律投诉、任何涉及安全的问题),以及机器人绝不能做的事情(编造政策、承诺结果、提供医疗或法律建议)。

此范围说明将成为你的系统提示词和测试集。试图回答所有问题的支持机器人迟早会自信地陈述错误内容。具有快速人工交接的窄范围机器人对客户和你都更好。

还需判断该模型是否合适。此 API 提供单一开放权重模型,调优以在合法成人用途下无内容拒绝地进行回答。这是小说和面向成人产品的特性。对于典型的公司客服而言,这更像是一种风险,最后一部分对此进行了详细说明。

核心调用:提示词加上你自己的事实

最简单可靠的设计是手动检索。你将帮助文章保存在数据库中,找到与客户问题匹配的两三篇文章,并将它们粘贴到提示词中。然后模型仅根据该文本回答。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.apertusaichat.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""

def answer(question, help_text, history):
    messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
    messages += history[-6:]
    messages.append({"role": "user", "content": question})
    r = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        temperature=0.2,
        max_tokens=250,
    )
    return r.choices[0].message.content

这里有两个设置很重要。低温度(0.2)可减少创造性发散,这在客服场景中是你不需要的。并且 history[-6:] 仅保留最后六条消息,因此无论聊天持续多久,输入成本都保持不变。

使用 JSON 模式路由意图

不要让一个提示词做所有事情。一次便宜的初始调用可以分类消息,然后你的代码决定做什么。JSON 模式使回复机器可读。

import json

# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
    r = client.chat.completions.create(
        model="uncensored",
        response_format={"type": "json_object"},
        temperature=0,
        messages=[
            {"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
            {"role": "user", "content": message},
        ],
        max_tokens=60,
    )
    return json.loads(r.choices[0].message.content)

使用结果选择加载哪些帮助文章,跳过模型以获取固定答案,或者当 angry 为 true 时直接转接给人。始终将 json.loads 包裹在 try 块中,因为模型偶尔仍可能返回格式错误的输出。

通过工具调用转接给人

API 支持工具调用,因此你可以给模型一个明确的升级方式,而不是指望它写出礼貌的拒绝。定义一个函数,让模型调用它,让你的代码完成实际工作。

# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
    "type": "function",
    "function": {
        "name": "handoff_to_human",
        "description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
        "parameters": {
            "type": "object",
            "properties": {"reason": {"type": "string"}},
            "required": ["reason"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": "I was charged twice and I want a person to look at it."},
    ],
    tools=tools,
    tool_choice="auto",
    max_tokens=200,
)

msg = r.choices[0].message
if msg.tool_calls:
    print("Escalate:", msg.tool_calls[0].function.arguments)
else:
    print(msg.content)

当收到工具调用时,创建工单,告知客户将有人回复,并停止机器人回答该对话。也通过规则进行移交:连续两次回答失败后,或当客户输入 "agent" 时,完全跳过模型。

费用说明

定价为每 1M 输入 token $0.15,每 1M 输出 token $0.50。一条带有系统提示词、两篇帮助文章和简短历史的客服消息可能会发送 3,000 个输入 token 并接收 300 个 token 的回复。输入成本为 3,000 x $0.15 / 1M = $0.00045。输出成本为 300 x $0.50 / 1M = $0.00015。每条回复成本为 $0.0006。

一万条回复成本为 $6.00。加上一次包含 200 个输入 token 和 40 个输出 token 的分类调用($0.00003 加 $0.00002,即 $0.00005),一万次对话的总成本仍为 $6.50。失败或被拒绝的请求不收费。查看 定价页面 了解充值层级和奖励。

还要规划限制:完整密钥允许 8 个并发请求和每分钟 300 个请求。繁忙的帮助台应排队请求,并在 HTTP 429 后根据 Retry-After: 5 延迟进行重试。流式回复会占用其槽位直到完成。

当无审查模型不是正确选择时

直截了当地说。为避免内容拒绝而调整的模型是为自由而构建的,而非品牌安全。在公共支持聊天中,客户可以将对话引导到任何地方,你希望机器人拒绝偏离主题或滥用请求。具有强大内置约束的模型会为你完成部分工作。这个模型做得较少,所以整个工作落在你的系统提示词和过滤机制上。

当支持产品本身是成人导向时,这是合理的,例如伴侣或小说平台,成员在同一聊天中询问账户和故事。对于内部工具也是合理的,受众是你的员工。对于一般零售或银行帮助台,具有内置策略的传统助手是更安全的默认值。

如果你确实使用它,请在代码中添加护栏:在系统提示词中限制主题,拒绝长偏离主题的交流,记录对话以供审查,并保持人工交接只需一条消息。禁止涉及未成年人的性内容适用于所有情况。更完整的发布检查列表在 无审查 AI 聊天生产检查清单 中。

随着帮助文本增长保持答案一致

上述提示词在帮助文本较短时有效。一旦你有数百篇文章,发送所有文章是浪费的并会混淆模型。保持每篇帮助文章简短,每个条目一个主题,并存储标题和几个关键词。通过简单的关键词或搜索匹配为每个问题选择最好的两三个,并仅发送这些。

为帮助文章标注日期并移除旧文章。引用去年退货政策的机器人比表示不确定的机器人更差。当客户报告错误答案时,找出机器人阅读了哪篇文章,修复该文章,并将问题添加到测试集中,以便错误再次出现时不会被忽视。

最后,保留每条回复的普通日志,包括随附的文章标题。当有人投诉时,你可以立即看到故障是模型、检索步骤还是帮助文本本身。

发布前测试

构建一组五十条真实客户消息,包括愤怒的、模糊的以及机器人不应回答的。全部运行,阅读回复并计算机器人编造内容的频率。修复提示词,然后重新运行整个集合。

你可以免费进行端到端测试:API 密钥页面 允许新用户一键领取 $0.50 的试用额度。按每条回复 $0.0006 计算,这足以进行 800 多次测试回复。试用密钥允许 2 个并发请求,因此你可以在简单循环中运行测试集。请求详情见 文档。

常见问题

如何防止聊天机器人胡编乱造?

仅提供你自己的帮助文本,指示它在文本没有答案时让它表示不确定,使用较低的温度,并用未覆盖的问题进行测试。

一条支持回复的成本是多少?

回复使用 3,000 个输入 token 和 300 个输出 token 的费用为 $0.0006。一万条此类回复的费用为 $6.00。

机器人可以创建工单或查询订单吗?

可以,通过工具调用实现。模型会请求带有参数的函数,你的代码调用真实系统并将结果以 role 字段为 tool 的消息形式返回。

我应该将此 API 用于公共帮助中心吗?

通常不是。该模型经过调整以避免内容拒绝,因此更适合面向成人的平台和内部工具,而非公共品牌客服。

立即获取 API 密钥

注册,复制 token,更新基础 URL。即可完成设置。