KO ▾

고객 서비스용 AI 챗봇: API로 구축하기

고객 서비스용 AI 채팅봇은 세 부분으로 구성됩니다: 제한 사항을 설정하는 프롬프트, 답변의 근거가 되는 사실, 그리고 인간 담당자 인계 경로입니다. 이 가이드는 OpenAI 호환 API를 기반으로 이를 구축하고, 메시지당 비용을 표시하며, 이 특정 모델이 잘못된 선택인 경우를 안내합니다.

마지막 업데이트:

메시지 카드가 여러 경로로 정렬된 아이소메트릭 지원 데스크, 그중 하나는 인간 지원을 위한 연결 브리지로 이어집니다

봇이 수행할 수 있는 작업 결정

코드 작성 전, 범위 정의서를 한 페이지 분량으로 작성하세요. 봇이 답변할 수 있는 질문(주문 상태, 영업 시간, 비밀번호 재설정 방법 등), 사람이 처리해야 하는 질문(한도 초과 환불, 법적 불만, 안전 관련 사항 등), 절대 수행해서는 안 되는 작업(정책을 거짓으로 만들어 내기, 결과 보장, 의료 또는 법률 조언 제공)을 나열하세요.

이 범위가 시스템 프롬프트와 테스트 세트가 됩니다. 모든 질문에 답하려는 지원 봇은 언젠가 자신감 있게 잘못된 사실을 말할 수 있습니다. 범위가 좁고 인간 담당자에게 빠르게 인계하는 봇이 고객과 운영자 모두에게 더 좋습니다.

또한 이 모델이 적합한지 결정하세요. 이 API는 합법적인 성인 용도에서 콘텐츠 거부 없이 답변하도록 조정된 단일 오픈 웨이트 모델을 제공합니다. 이는 픽션과 성인 대상 제품에 적합한 기능입니다. 일반적인 기업 헬프 데스크에서는 위험 요소에 가깝습니다. 마지막 섹션에서 이를 자세히 다룹니다.

핵심 호출: 프롬프트와 자체 사실 데이터

가장 간단하고 신뢰할 수 있는 설계는 수동으로 검색하여 가져오는 방식입니다. 도움말 기사를 데이터베이스에 보관하고 고객 질문과 일치하는 두세 개의 기사를 찾아 프롬프트에 붙여넣습니다. 모델은 해당 텍스트에서만 답변합니다.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.apertusaichat.com/v1",
    api_key="YOUR_API_KEY",
)

SYSTEM = """You are the support assistant for Northwind Outdoor.
Answer only from the HELP TEXT below. If the text does not contain the answer,
say you are not sure and offer to connect the customer with a person.
Keep replies under 120 words. Never invent prices, dates or policies."""

def answer(question, help_text, history):
    messages = [{"role": "system", "content": SYSTEM + "\n\nHELP TEXT:\n" + help_text}]
    messages += history[-6:]
    messages.append({"role": "user", "content": question})
    r = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        temperature=0.2,
        max_tokens=250,
    )
    return r.choices[0].message.content

여기서 두 가지 설정이 중요합니다. 낮은 temperature(0.2)는 지원에 필요하지 않은 창의적 편향을 줄입니다. 그리고 history[-6:]은 채팅 길이에 상관없이 입력 비용을 일정하게 유지하기 위해 마지막 여섯 개의 메시지만 유지합니다.

JSON 모드로 의도 분류

하나의 프롬프트로 모든 작업을 수행하지 마세요. 저렴한 첫 번째 호출로 메시지를 분류한 후, 귀하의 코드가 처리 방법을 결정합니다. JSON 모드는 응답을 기계가 읽을 수 있게 만듭니다.

import json

# uses the client created above (base_url https://api.apertusaichat.com/v1, model uncensored)
def classify(message):
    r = client.chat.completions.create(
        model="uncensored",
        response_format={"type": "json_object"},
        temperature=0,
        messages=[
            {"role": "system", "content": 'Return JSON with keys "intent" (one of order_status, returns, billing, other) and "angry" (true or false).'},
            {"role": "user", "content": message},
        ],
        max_tokens=60,
    )
    return json.loads(r.choices[0].message.content)

결과를 사용하여 로드할 도움말 기사를 선택하거나, 고정된 답변에는 모델 호출을 건너뛰거나, angry이 true일 때 즉시 사람에게 연결하세요. 드물게 모델이 잘못된 출력을 반환할 수 있으므로 json.loads를 항상 try 블록으로 감싸세요.

도구 호출을 통해 인간 담당자에게 연결

API는 도구 호출을 지원하므로, 모델이 정중한 거절문을 작성하길 바라는 대신 명확한 에스컬레이션 경로를 제공할 수 있습니다. 함수를 정의하고 모델이 이를 호출하도록 한 후, 실제 작업은 귀하의 코드에서 수행합니다.

# same client: base_url https://api.apertusaichat.com/v1, model uncensored
tools = [{
    "type": "function",
    "function": {
        "name": "handoff_to_human",
        "description": "Transfer the chat to a support agent when you cannot answer from the help text, or the customer asks for a person.",
        "parameters": {
            "type": "object",
            "properties": {"reason": {"type": "string"}},
            "required": ["reason"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": "I was charged twice and I want a person to look at it."},
    ],
    tools=tools,
    tool_choice="auto",
    max_tokens=200,
)

msg = r.choices[0].message
if msg.tool_calls:
    print("Escalate:", msg.tool_calls[0].function.arguments)
else:
    print(msg.content)

도구 호출이 도착하면 티켓을 생성하고 고객에게 사람이 답변할 것이라고 알린 후, 봇이 해당 스레드에 답변하지 않도록 합니다. 규칙으로도 인계하세요: 연속 두 번의 답변 실패 후나 고객이 "agent"를 입력할 때 모델을 완전히 건너뜁니다.

비용 구조

가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 시스템 프롬프트, 두 개의 도움말 기사와 짧은 대화 기록이 포함된 지원 메시지는 입력 토큰 3,000개를 보내고 300개 토큰의 응답을 받을 수 있습니다. 입력 비용은 3,000 x $0.15 / 1M = $0.00045입니다. 출력 비용은 300 x $0.50 / 1M = $0.00015입니다. 답변당 총 비용은 $0.0006입니다.

10,000회 답변에 $6.00이 듭니다. 입력 토큰 200개와 출력 토큰 40개의 분류 호출($0.00003 + $0.00002, 즉 $0.00005)을 추가해도 10,000회 대화당 비용은 여전히 $6.50입니다. 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 충전 등급과 보너스에 대해서는 가격 페이지를 참조하세요.

한도도 계획에 포함하세요: 전체 키는 동시 요청 8개와 분당 300개를 허용합니다. 바쁜 데스크는 요청을 큐에 넣고 Retry-After: 5 지연 후 HTTP 429로 재시도해야 합니다. 스트리밍된 응답은 완료될 때까지 슬롯을 유지합니다.

무검열 모델이 부적합한 경우

이 점을 명확히 하세요. 콘텐츠 거부를 피하도록 조정된 모델은 브랜드 안전성보다 자유를 위해 설계되었습니다. 공개 지원 채팅에서는 고객이 대화를 어느 방향으로든 이끌 수 있으며, 봇이 주제에서 벗어나거나 공격적인 요청을 거부하기를 원합니다. 강력한 내장 제한이 있는 모델은 이를 일부 수행해 줍니다. 이 모델은 덜 하므로 전체 작업이 시스템 프롬프트와 필터에 달려 있습니다.

지원 제품 자체가 성인 대상일 때(예: 멤버가 스토리와 같은 채팅에서 계정에 대해 문의하는 동반자 또는 픽션 플랫폼)에는 합리적입니다. 또한 대상이 자체 직원인 내부 도구에도 적합합니다. 일반 소매 또는 은행 데스크에는 내장 정책이 있는 기존 어시스턴트가 더 안전한 기본값입니다.

사용하는 경우 코드에 가드레일을 추가하세요: 시스템 프롬프트에서 주제를 제한하고, 길고 관련 없는 대화를 거부하며, 검토를 위해 대화를 로그에 남기고, 인간 인계를 한 메시지 거리로 유지하세요. 미성년자 관련 성 콘텐츠에 대한 하드 리밋은 모든 경우에 적용됩니다. 릴리스 체크리스트 전체 목록은 무검열 AI 채팅 프로덕션 체크리스트에 있습니다.

도움말 텍스트가 늘어남에 따라 답변의 일관성 유지

위의 프롬프트는 도움말 텍스트가 짧을 때 작동합니다. 수백 개의 기사가 있으면 모두 보내는 것은 낭비이며 모델을 혼란스럽게 합니다. 각 도움말 기사를 작게 유지하고 항목당 하나의 주제만 포함하세요. 제목과 몇 가지 키워드를 함께 저장하세요. 간단한 키워드 또는 검색 일치로 각 질문에 가장 적합한 두세 개를 선택하고 해당 내용만 보내세요.

도움말 기사에 날짜를 표시하고 오래된 것은 제거하세요. 작년의 반품 정책을 인용하는 봇은 확신이 없다고 말하는 봇보다 더 나쁩니다. 고객이 잘못된 답변을 보고하면 봇이 읽은 기사를 찾아 수정하고, 실수가 다시 나타나지 않도록 테스트 세트에 질문을 추가하세요.

마지막으로, 각 응답과 함께 전송된 기사 제목을 포함한 일반 로그를 유지하세요. 불만이 제기되면 모델의 오류인지, 검색 단계의 문제인지, 아니면 도움말 텍스트 자체의 문제인지 단 몇 분 안에 확인할 수 있습니다.

출시 전 테스트

분노한 메시지, 모호한 메시지, 봇이 답변하면 안 되는 메시지를 포함한 실제 고객 메시지 50개로 테스트 세트를 만드세요. 모두 실행하고 응답을 읽으며 봇이 환각을 생성하는 빈도를 세세요. 프롬프트를 수정한 후 전체 세트를 다시 실행하세요.

전체 과정을 무료로 시도할 수 있습니다: API 키 페이지에서 새 사용자는 클릭 한 번으로 $0.50의 무료 체험 크레딧을 청구할 수 있습니다. 답변당 $0.0006이므로 800회 이상의 테스트 답변이 가능합니다. 체험 키는 동시 요청 2개를 허용하므로 간단한 루프로 테스트 세트를 실행하세요. 요청 세부 정보는 문서에 있습니다.

자주 묻는 질문

챗봇이 거짓 정보를 만드는 것을 어떻게 막을 수 있나요?

자신의 도움말 텍스트만 제공하고, 텍스트에 답이 없을 때는 확신이 없다고 말하도록 지시하며, 낮은 온도를 사용하고, 다루지 않는 질문으로 테스트하세요.

지원 답변 한 건의 비용은 얼마인가요?

입력 토큰 3,000개와 출력 토큰 300개를 사용한 응답 하나당 $0.0006이 듭니다. 이와 같은 응답 10,000개에는 $6.00이 듭니다.

봇이 티켓을 생성하거나 주문을 조회할 수 있나요?

네, 도구 호출을 통해 가능합니다. 모델이 인수가 있는 함수를 요청하면, 귀하의 코드에서 실제 시스템을 호출하고 결과를 역할이 tool인 메시지로 반환합니다.

이 API를 공개 헬프 데스크에 사용해야 하나요?

일반적으로 적합하지 않습니다. 모델은 콘텐츠 거부를 피하도록 조정되었으므로, 공개 브랜드 데스크보다는 성인 대상 플랫폼이나 내부 도구에 더 적합합니다.

지금 API 키 받기

등록하고 토큰을 복사한 후 기본 URL을 업데이트하세요. 설정이 완료됩니다.