เมื่อปีที่แล้ว ทีมเราตัดสินใจพยายามสร้างแชตบอตบน LINE เพื่อตอบคำถามลูกค้าไทยโดยตรง โดยมีเป้าหมายลดภาระงานให้ทีมบริการลูกค้า และเพิ่มประสิทธิภาพในการตอบกลับ แต่สิ่งที่เราเจอมันซับซ้อนกว่าทคิดเดิมมาก ตอนนี้เราจะมาเล่าเรื่องราวของการสร้างระบบที่ต้องจับเวลาให้ได้ และเรียนรู้จากความผิดพลาดจริงๆ ที่เราได้พบ
จุดเริ่มต้น: แชตบอตที่ต้องตอบได้ทุกคำถาม
เราเริ่มต้นด้วยคลังคำภาษาไทยขนาด 2,176 คำ ซึ่งครอบคลุมคำถามส่วนใหญ่ที่ลูกค้ามักถามมา เช่น ข้อมูลบัญชี วิธีการฝากถอน ข่าวสารโปรโมชัน และคำถามทั่วไปอื่นๆ แชตบอตนี้จะทำหน้าที่เป็นแรกเฟสในการตอบคำถาม โดยจะพยายามจับคู่คำถามของลูกค้ากับคลังคำก่อน ถ้าหากไม่ตรงก็จะส่งต่อให้ AI เพื่อให้ได้คำตอบที่แม่นยำขึ้น แต่เราไม่คิดว่าสิ่งที่ง่ายที่สุดคือเรื่องที่ยากที่สุดเสมอไป
การออกแบบ: ความเร็วคือทุกสิ่ง
เราตระหนักดีว่าในโลกแห่งการเทรดความเร็วเป็นปัจจัยสำคัญที่สุด ลูกค้าไม่อยากรอนานเพื่อให้ได้คำตอบ ดังนั้นเราจึงตั้งขอบเวลาแข็งที่ 50 วินาที แต่การตั้งเป้าหมายเช่นนี้ทำให้เราต้องพิจารณาทุกรายละเอียด ตัวแยกประเภท (classifier) ที่เราพัฒนาขึ้นมีเวลาในการทำงานประมาณ 1.4-2.0 วินาที ซึ่งถือว่าน้อยมากสำหรับงานประเภทนี้ แต่เราต้องการให้มันเร็วที่สุดเท่าที่จะทำได้ เพื่อให้เวลาให้กับ AI ในการคิดคำตอบให้ลูกค้า
ความท้าทาย: การวัดเวลาที่แม่นยำ
การทดสอบระบบไม่ใช่เรื่องง่ายเหมือนที่คิด โดยเฉพาะอย่างยิ่งเมื่อต้องวัดเวลาที่แม่นยำ ต้องการตัวอย่างข้อมูลที่มาจากการใช้จริงจำนวนมาก เพื่อให้ได้ p95 (percentile 95) ที่แท้จริง ซึ่งหมายความว่า 95% ของคำถามจะต้องตอบภายในเวลาที่กำหนด จากการทดสอบจริง เราพบว่าเวลาตอบรวม p95 อยู่ที่ 5,334 มิลลิวินาที หรือประมาณ 5.3 วินาที ซึ่งน้อยกว่าขอบเวลาแข็งที่เราตั้งไว้อย่างมาก แต่เรายังไม่สบายใจ เพราะรู้ว่าในสภาพแวดล้อมจริงอาจมีปัจจัยอื่นๆ ที่ทำให้เวลาเพิ่มขึ้นได้
การปรับปรุง: การตัดสินใจที่ถูกต้อง
เมื่อได้ข้อมูลเวลาตอบจากการทดสอบจริง เราต้องปรับปรุงระบบให้ดียิ่งขึ้น หนึ่งในปัญหาหลักที่พบคือบางครั้งตัวแยกประเภทจะส่งต่อคำถามไปให้ AI แม้ว่าคำถามนั้นจะมีในคลังคำแล้ว ทำให้เสียเวลาไปโดยไม่จำเป็น เราจึงตั้งเกณฑ์ให้ classifier ต้องตัดสินใจดีที่สุด แม้ว่าจะใช้เวลานิดหน่อยมากขึ้นก็ตาม โดยเราพบว่าการตั้งค่าให้มีความแม่นยำสูงทำให้ลดกรณีส่งต่อไปให้ AI ได้ถึง 40% ซึ่งเป็นการประหยัดเวลาอย่างมาก
ผลลัพธ์: ความสมดุลระหว่างความเร็วแล่ะความแม่นยำ
หลังจากการปรับปรุงหลายครั้ง เราสามารถบรรลุเป้าหมายได้ แชตบอตตอบคำถามได้ภายในเวลาที่กำหนด โดยมีเวลาตอบรวม p95 อยู่ที่ 5,334 มิลลิวินาที ซึ่งอยู่ภายในขอบเวลาที่ตั้งไว้อย่างสบายๆ และยังคงความแม่นยำในการตอบคำถามไว้ได้ดี ลูกค้าส่วนใหญ่พอใจกับการตอบกลับที่รวดเร็วและแม่นยำ ซึ่งช่วยลดภาระงานให้ทีมบริการลูกค้าได้จริง
บทเรียน: สงครามเวลาในการตอบคำถาม
โครงการนี้สอนเราเรื่องของความสมดุลระหว่างความเร็วและความแม่นยำ บางครั้งการพยายามทำให้เร็วที่สุดอาจทำให้เสียความแม่นยำไป และในทางกลับกัน การพยายามทำให้แม่นยำที่สุดอาจทำให้ช้าไป การตั้งเป้าหมายเวลาที่แข็งแรงและการวัดเวลาที่แม่นยำเป็นสิ่งสำคัญ แต่ยิ่งกว่านั้นคือการเข้าใจพฤติกรรมของผู้ใช้จริงๆ และการปรับแต่งระบบให้ตอบสนองความต้องการของพวกเขาอย่างที่พวกเขาต้องการ ไม่ใช่แค่ทำงานได้เร็วที่สุดเท่านั้น
สำหรับคนที่อยากลองเทรดทองจริง เปิดบัญชี XM ได้ที่: https://clicks.pipaffiliates.com/c?c=72816&l=th&p=6
