จากการทดสอบ 15 เคส BOMLLM (Local) ทำคะแนนเฉลี่ย 8.89 เอาชนะ Zai (Cloud) ที่ 8.04 โดยเฉพาะหมวด LINE_QA ที่ Local นำห่างถึง 1.41 เท่า ทำให้การประมวลผลข่าวภายในเครื่องเร็วและแม่นยำกว่า Cloud อย่างเห็นได้ชัด
ทำไม Local LLM จึงเหมาะกับการอ่านข่าวเทรด
การเทรดในตลาดที่ผันผวนสูงนั้น ความเร็วในการรับข้อมูลคือปัจจัยสำคัญที่สุด เราพบว่าการพึ่งพา Cloud API สำหรับการสแกนข่าวแบบ Real-time มักมี Latency จากเครือข่ายและค่าใช้จ่ายที่สะสมเพิ่มขึ้นทุกวัน การรัน AI บนเครื่องเองช่วยลดเวลาตอบสนองโดยรวมลงได้อย่างมีนัยสำคัญเพราะไม่ต้องส่งข้อมูลไป-กลับ อีกทั้งยังแก้ปัญหาเรื่องความปลอดภัยของข้อมูลที่เราไม่ต้องส่งกลยุทธ์หรือข้อมูลการเทรดที่ละเอียดอ่อนไปเก็บไว้บน Server ของบริษัทอื่น การติดตั้งโมเดลขนาดเล็กแต่มีประสิทธิภาพสูงบนเครื่องเก็บข้อมูลส่วนตัวจึงกลายเป็นทางเลือกที่น่าสนใจมากขึ้นสำหรับเทรดเดอร์ที่ต้องการความเร็วและความเป็นส่วนตัว
ผลเปรียบเทียบ BOMLLM กับ Zai ในการวิเคราะห์ข่าว
เราได้ทำการทดสอบระบบอย่างเป็นระบบด้วย Dataset จำนวน 15 เคส (n_cases) ที่คัดมาจากข่าวสำคัญ ผลปรากฏว่า BOMLLM ซึ่งเป็นโมเดล Local มีคะแนนเฉลี่ยอยู่ที่ 8.89 สูงกว่าคู่แข่งอย่าง Zai ที่อยู่ที่ 8.04 ทำให้ได้ Ratio อยู่ที่ 1.1 ซึ่งถือว่าผ่านเกณฑ์การใช้งาน (PASS) อย่างมั่นใจ สิ่งที่น่าประทับใจคือในหมวด LINE_QA ซึ่งเป็นการทดสอบความเข้าใจในบริบทการสนทนา 10 รอบ BOMLLM ทำคะแนนเฉลี่ยได้ 8.93 ทิ้งห่าง Zai ที่ 6.33 ด้วย Ratio สูงถึง 1.41 และได้รับการตัดสินจากระบบว่า "Thai_verdict: ผ่าน" นี่แสดงให้เห็นชัดว่าโมเดล Local นี้เข้าใจบริบทข่าวและภาษาไทยได้ดีกว่าระบบ Cloud ทั่วไปในบางกรณี
ทดลองจริงบนเครื่องเรา
ทีมงานได้ทำการรันทดสอบอย่างหนักเพื่อยืนยันประสิทธิภาพจริงบนเครื่อง Mac mini M4 (Mac16,11) ที่บูตต์ด้วย RAM 48GB ผ่านทาง SSH เพื่อควบคุมระยะไกล จากผลการรันจริงเราบันทึกได้ว่าค่าเฉลี่ย Ratio ในการทำงานอยู่ที่ 0.80 ในรอบแรกและ 0.84 ในรอบถัดไป ซึ่งถือว่าอยู่ในเกณฑ์ที่ใช้งานได้ดี โดยระบบสามารถประมวลผลคำสั่งได้เฉลี่ย (avg_toks) ทั้ง 68.7 และ 25.3 โทเคนต่อครั้ง ใช้เวลาเฉลี่ย (avg_wall_s) ประมาณ 6.8 ถึง 12.5 วินาทีต่อการประมวลผลแต่ละครั้ง คำสั่งที่เราใช้ในการตัดสินใจเลือกโมเดลคือ "qwen wins or ties" ซึ่งทำให้เราตัดสินใจเลิกใช้โมเดล Typhoon เพื่อปล่อยพื้นที่แรมกลับมา 18GB และเปลี่ยนไปใช้ Context Depth 32k แทน ซึ่งช่วยให้การประมวลผลมีความละเอียดและเชื่อมโยงข้อมูลย้อนหลังได้ดีขึ้นโดยไม่กระทบต่อความเร็วโดยรวมของเครื่อง
ความปลอดภัยและการกรองข้อมูลเสี่ยง
นอกจากประสิทธิภาพแล้ว ความปลอดภัยในการใช้งานก็เป็นสิ่งสำคัญสำหรับเทรดเดอร์ จากการทดสอบ 15 เคสของ BOMLLM เราพบว่าจำนวนกรณีที่มีความกังวลด้านความปลอดภัย (bomllm_safety_concern_cases) อยู่ที่ 0 ซึ่งหมายความว่าโมเดลไม่ได้สร้างคำตอบที่เสี่ยงต่อการนำไปใช้งานหรือมีเนื้อหาที่ไม่เหมาะสมในทุกกรณีที่ทดสอบ การที่โมเดล Local สามารถกรองข้อมูลได้ดีโดยไม่ต้องพึ่งพา Safety Layer ของ Cloud ผู้ให้บริการ ทำให้เรามั่นใจได้ว่าข้อมูลข่าวที่นำเข้ามาวิเคราะห์จะไม่ถูกเซ็นเซอร์โดยอัตโนมัติหรือถูกบันทึกไปใช้ประโยชน์อื่นนอกจากการเทรดของเราเอง นี่คือข้อได้เปรียบที่ชัดเจนอีกประการหนึ่งของการนำ Local AI มาใช้งานจริง
บทเรียนจากการจัดการทรัพยากรและความล้มเหลว
ในช่วงแรก
ถ้าอยากได้เครื่องมือวิเคราะห์ทองพร้อมใช้ ดูระบบของเราได้ที่ cafefx.ai สำหรับคนที่อยากลองเทรดทองจริง เปิดบัญชี XM ผ่านพันธมิตรของเรา
