작년 우리 팀은 LINE에서 태국어 고객 질문에 직접 답하는 챗봇을 만들기로 결정했습니다. 목표는 고객 서비스 팀의 부담을 줄이고 응답 효율성을 높이는 것이었습니다. 그러나 우리가 마주한 것은 생각했던 것보다 훨씬 복잡했습니다. 이제 우리는 시간과의 전쟁을 치르고 실제 실수로부터 배운 경험을 공유합니다.
시작: 모든 질문에 답해야 하는 챗봇
우리는 2,176개의 태국어 단어로 구성된 사전으로 시작했습니다. 이 사전은 고객이 자주 묻는 대부분의 질문을 다루고 있습니다. 예를 들어 계좌 정보, 입출금 방법, 프로모션 뉴스, 기타 일반적인 질문 등이 포함됩니다. 이 챗봇은 질문 응답의 첫 단계 역할을 하며, 고객의 질문을 사전과 먼저 매칭시킵니다. 일치하지 않으면 더 정확한 답변을 위해 AI로 전달합니다. 그러나 우리는 가장 간단한 것이 항상 가장 어렵다는 것을 깨달았습니다.
설계: 속도가 모든 것
트레이딩 세계에서 속도가 가장 중요한 요소임을 우리는 잘 알고 있었습니다. 고객은 답변을 받기 위해 오래 기다리고 싶어 하지 않습니다. 따라서 우리는 50초라는 엄격한 시간 제한을 설정했습니다. 그러나 이러한 목표는 모든 세부 사항을 고려해야 한다는 것을 의미했습니다. 우리가 개발한 분류기는 약 1.4~2.0초의 처리 시간을 가지며, 이 유형의 작업에는 매우 짧은 시간입니다. 하지만 우리는 AI가 고객에게 답변을 생각할 수 있는 시간을 주기 위해 가능한 한 빠르게 만들고 싶었습니다.
도전: 정확한 시간 측정
시스템 테스트는 생각만큼 쉽지 않았습니다. 특히 정확한 시간을 측정해야 할 때 더욱 그렇습니다. 실제 사용에서 수집된 대량의 데이터 샘플이 필요하며, 이를 통해 진정한 p95(95백분위)를 얻을 수 있습니다. 이는 95%의 질문이 지정된 시간 내에 답변되어야 한다는 것을 의미합니다. 실제 테스트 결과, 전체 응답 시간의 p95는 5,334밀리초, 즉 약 5.3초로 나타났습니다. 이는 우리가 설정한 엄격한 시간 제한보다 훨씬 짧았습니다. 그러나 우리는 여전히 안심이 되지 않았습니다. 실제 환경에서는 시간이 증가할 수 있는 다른 요인들이 있을 수 있기 때문입니다.
개선: 올바른 결정
실제 테스트에서 응답 시간 데이터를 얻은 후, 우리는 시스템을 더 개선해야 했습니다. 발견된 주요 문제 중 하나는 때때로 분류기가 사전에 이미 있는 질문을 AI로 전달한다는 것이었습니다. 이는 불필요하게 시간을 낭비하는 것이었습니다. 따라서 우리는 분류기가 조금 더 시간이 걸리더라도 최선의 결정을 내리도록 기준을 설정했습니다. 높은 정확도를 설정하면 AI로 전달되는 경우가 40%까지 줄어드는 것을 발견했으며, 이는 상당한 시간 절약이 되었습니다.
결과: 속도와 정확도의 균형
여러 번의 개선 후, 우리는 목표를 달성할 수 있었습니다. 챗봇은 지정된 시간 내에 질문에 답변하며, 전체 응답 시간의 p95는 5,334밀리초로 설정한 시간 제한 내에 여유 있게 들어옵니다. 또한 질문 답변의 정확도를 잘 유지하고 있습니다. 대부분의 고객은 빠르고 정확한 응답에 만족하며, 이는 실제로 고객 서비스 팀의 부담을 줄여주었습니다.
교훈: 질문에 답하는 시간과의 전쟁
이 프로젝트는 우리에게 속도와 정확도 사이의 균형에 대해 가르쳐주었습니다. 때때로 최대한 빠르게 하려는 시도는 정확도를 희생시킬 수 있으며, 반대로 최대한 정확하게 하려는 시도는 느려질 수 있습니다. 엄격한 시간 목표 설정과 정확한 시간 측정은 중요하지만, 그 이상으로 실제 사용자 행동을 이해하고 그들이 원하는 방식으로 그들의 요구에 응답하도록 시스템을 조정하는 것이 더 중요합니다. 단순히 가장 빠르게 작동하는 것만으로는 부족합니다.
실제 금 거래를 해보고 싶은 분은 XM 계정을 개설할 수 있습니다: 우리의 파트너를 통해 XM 계정 개설
