去年、私たちのチームはLINE上でタイ語の顧客に直接回答するチャットボットを作成することを決定しました。カスタマーサービスチームの負担を軽減し、応答効率を向上させることが目的でした。しかし、実際には思っていたよりも複雑な問題が待ち受けていました。今回は、時間との戦いの中で実際に直面した失敗から学んだことをお話しします。
始まり：あらゆる質問に答えなければならないチャットボット
私たちは2,176語のタイ語語彙データベースから始めました。これは顧客が頻繁に尋ねる質問の大部分をカバーしており、口座情報、入金・出金方法、プロモーションニュース、その他の一般的な質問が含まれています。このチャットボットは質問への最初の回答フェーズとして機能し、まず顧客の質問を語彙データベースと照合して一致させようとし、一致しない場合はより正確な回答を得るためにAIにエスカレーションします。しかし、最も簡単なことが常に最も難しいとは限らないことを私たちは思い知らされました。
設計：速度がすべて
私たちは、取引の世界では速度が最も重要な要素であることをよく理解していました。顧客は回答を長く待つことを望んでいません。そのため、50秒という厳格な時間制限を設定しました。しかし、このような目標を設定することで、あらゆる詳細を考慮する必要が生じました。私たちが開発した分類器（classifier）の処理時間は約1.4〜2.0秒で、この種のタスクとしては非常に短いと言えます。しかし、AIが顧客に回答を考案するための時間を確保するために、可能な限り速くしたいと考えていました。
課題：正確な時間測定
システムのテストは思っていたほど簡単ではありませんでした。特に正確な時間測定が必要な場合です。真のp95（パーセンタイル95）を得るためには、実際の使用から得られた大量のサンプルデータが必要でした。これは、95%の質問が指定された時間内に回答されることを意味します。実際のテストでは、総応答時間のp95は5,334ミリ秒、つまり約5.3秒であることがわかりました。これは私たちが設定した厳格な時間制限よりもはるかに短いです。しかし、私たちはまだ安心できませんでした。なぜなら、実際の環境では時間を増加させる他の要因が存在する可能性があることを知っていたからです。
改善：正しい判断
実際のテストから得られた応答時間のデータに基づいて、私たちはシステムをさらに改善する必要がありました。発見された主な問題の一つは、分類器が質問がすでに語彙データベースにあるにもかかわらず、AIにエスカレーションすることがあるというものでした。これは不必要な時間の浪費でした。そのため、分類器が少し時間がかかっても最善の判断を下す基準を設定しました。高い精度に設定することで、AIへのエスカレーションケースを40%まで削減できることがわかりました。これは大きな時間節約となりました。
結果：速度と精度のバランス
何度も改善を重ねた後、私たちは目標を達成することができました。チャットボットは指定された時間内に質問に回答し、総応答時間のp95は5,334ミリ秒で、設定された時間制限内に余裕を持って収まっています。同時に、質問への回答精度も良好に保たれています。大多数の顧客は迅速かつ正確な回答に満足しており、カスタマーサービスチームの負担を実際に軽減しています。
教訓：質問への応答における時間との戦争
このプロジェクトは、速度と精度のバランスについて私たちを教えました。時には最速を追求することで精度が犠牲になることがあり、逆に最高精度を追求すると遅くなることもあります。厳格な時間目標の設定と正確な時間測定は重要ですが、それ以上に重要なのは、実際のユーザーの行動を理解し、システムを彼らのニーズに合った形で調整することです。単に最速で動作することだけが目的ではありません。
実際に金取引を試してみたい方は、XMで口座開設できます：私たちのパートナー経由でXM口座を開設
