ボットが許可されるアクションを決定する
コードを書く前に、1ページ分のスコープを記述します。ボットが回答可能な質問(注文ステータス、営業時間、パスワードのリセット方法など)、人間に引き継ぐべき質問(制限を超える返金、法的苦情、安全に関わる一切の事柄など)、そして決して行ってはいけないこと(ポリシーの発明、結果の約束、医療または法的助言の提供)をリストアップします。
このスコープはシステムプロンプトおよびテストセットになります。すべてのことに答えようとするサポートボットは、遅かれ早かれ自信を持って誤った情報を述べるでしょう。迅速な引き継ぎを持つ狭い範囲のボットは、顧客とあなたにとってより良い選択です。
また、モデルが適切かどうかを判断します。このAPIは、法的な成人向け用途でコンテンツ拒否なしで回答するように調整された単一のオープンウェイトモデルを提供します。これはフィクションやアダルト向け製品にとって機能ですが、一般的な企業のヘルプデスクではリスクに近くなります。最後のセクションでこれを詳しく説明します。
コア呼び出し:プロンプトと独自の事実
最もシンプルで信頼性の高い設計は手動による取得です。ヘルプ記事をデータベースに保存し、顧客の質問に一致する2〜3の記事を見つけ、それらをプロンプトに貼り付けます。その後、モデルはそのテキストのみから回答します。
from openai import OpenAI
client = OpenAI(
base_url="https://api.apertusaichat.com/v1",
api_key="YOUR_API_KEY",
)
SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""
def answer(question, help_text, history):
messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
messages += history[-6:]
messages.append({"role": "user", "content": question})
r = client.chat.completions.create(
model="uncensored",
messages=messages,
temperature=0.2,
max_tokens=250,
)
return r.choices[0].message.content
ここで重要なのは2つの設定です。低い温度(0.2)は創造的な逸脱を減らし、サポートではそれが望まれます。またhistory[-6:]は最後の6メッセージのみを保持するため、チャットが長引いても入力コストは一定に保たれます。
JSONモードで意図をルーティング
1つのプロンプトで全てを行わないでください。安価な最初の呼び出しでメッセージを分類し、その後コードで処理を決定できます。JSONモードは返信を機械可読にします。
import json
# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
messages=[
{"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
{"role": "user", "content": message},
],
max_tokens=60,
)
return json.loads(r.choices[0].message.content)
結果を使用して、どのヘルプ記事を読み込むかを選択し、固定された回答に対してモデルを完全にスキップするか、angryがtrueの場合にすぐに人間にジャンプします。まれにモデルが不正な出力を返す可能性があるため、常にjson.loadsをtryブロックで囲んでください。
ツール呼び出しで人間に引き継ぐ
APIはツール呼び出しをサポートしているため、モデルが丁寧な拒否文を書くことを期待するのではなく、エスカレーションのための明示的な方法を与えることができます。関数を定義し、モデルに呼び出させ、実際の処理をあなたのコードに任せます。
# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
"type": "function",
"function": {
"name": "handoff_to_human",
"description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
"parameters": {
"type": "object",
"properties": {"reason": {"type": "string"}},
"required": ["reason"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": "I was charged twice and I want a person to look at it."},
],
tools=tools,
tool_choice="auto",
max_tokens=200,
)
msg = r.choices[0].message
if msg.tool_calls:
print("Escalate:", msg.tool_calls[0].function.arguments)
else:
print(msg.content)
ツール呼び出しが届いたら、チケットを作成し、顧客に担当者が返信することを伝え、そのスレッドでのボットの応答を停止します。またルールによる引き継ぎも実施します:連続して2回の回答に失敗した場合、または顧客が「agent」と入力した場合は、モデルを完全にスキップします。
コスト
料金は1M入力トークンあたり$0.15、1M出力トークンあたり$0.50です。システムプロンプト、2つのヘルプ記事、短い履歴を含むサポートメッセージは、3,000入力トークンを送信し、300トークンの返信を受信する可能性があります。入力は3,000 x $0.15 / 1M = $0.00045のコストがかかります。出力は300 x $0.50 / 1M = $0.00015のコストがかかります。つまり、返信1回あたり$0.0006です。
1万回の返信で$6.00かかります。200入力トークンと40出力トークンの分類呼び出し($0.00003と$0.00002、つまり$0.00005)を追加しても、1万回の会話で合計$6.50です。失敗または拒否されたリクエストは課金されません。トップアップティアとボーナスについては料金ページをご覧ください。
制限も計画します:フルキーは8つの同時リクエストと1分あたり300リクエストを許可します。混雑した窓口ではリクエストをキューに入れ、Retry-After: 5の待機後にHTTP 429でリトライします。ストリーミングされたレスポンスは完了するまでスロットを保持します。
無検閲モデルが不適切な選択となる場合
これについては率直になりましょう。コンテンツ拒否を避けるように調整されたモデルは、自由のために構築されており、ブランドの安全性のためではありません。公開サポートチャットでは、顧客は会話を任意の方向に導くことができ、ボットがトピックから外れたまたは攻撃的なリクエストを拒否することを望みます。強力な内蔵抑制機能を持つモデルは、その作業の一部をあなたに代わって行います。このモデルはそれらの作業をより少ない量しか行わないため、その役割はすべてシステムプロンプトとフィルターに委ねられます。
サポート製品自体がアダルト向けの場合(例えば、メンバーがストーリーと同じチャットでアカウントについて質問する相棒またはフィクションプラットフォームなど)、これは理にかなっています。また、対象が社内スタッフである内部ツールの場合にも理にかなっています。一般的な小売または銀行のデスクでは、内蔵ポリシーを持つ従来のアシスタントの方が安全なデフォルトです。
使用する場合は、コードでガードレールを追加してください:システムプロンプトでトピックを制限し、長いトピック外会話を拒否し、レビュー用に会話をログに記録し、人間への引き継ぎを1メッセージの距離に保ちます。未成年者を含む性的コンテンツのハードリミットは常に適用されます。リリースチェックのより完全なリストは無検閲AIチャット製品化チェックリストにあります。
ヘルプテキストの増加に伴い回答の一貫性を保つ
上記のプロンプトはヘルプテキストが短い間のみ機能します。記事が数百に達すると、すべてを送信するのは非効率であり、モデルを混乱させます。各ヘルプ記事を小さく保ち、1エントリにつき1トピックとし、タイトルと数個のキーワードを保存します。単純なキーワードまたは検索マッチを使用して、各質問に対して最適な2〜3の記事を選択し、それらのみを送信します。
ヘルプ記事に日付を付け、古い記事を削除します。昨年の返品ポリシーを引用するボットは、不確実だと答えるボットよりも劣ります。顧客が誤った回答を報告した場合、ボットが参照した記事を特定し、その記事を修正し、質問をテストセットに追加して、そのミスが再び見逃されることなく対応できるようにします。
最後に、各返信の単純なログを、送信された記事タイトルとともに保持してください。クレームが発生した場合、1分でその責任がモデル、取得ステップ、またはヘルプテキスト自体のどちらにあるかを確認できます。
ローンチ前にテスト
怒っているもの、曖昧なもの、ボットが回答すべきではないものを含む、50件の実際の顧客メッセージのセットを作成します。それらすべてを実行し、返信を読み、ボットがでたらめを言っている頻度を数えます。プロンプトを修正し、セット全体を再実行します。
これをエンドツーエンドで無料で試すことができます:APIキーページでは、新しいユーザーがワンクリックで$0.50のトライアルクレジットを請求できます。返信1回あたり$0.0006なので、800回以上のテスト返信が可能です。トライアルキーは2つの同時リクエストを許可するため、単純なループでテストセットを実行します。リクエストの詳細はドキュメントにあります。
