ตั้งขอบเขตให้ AI ไม่หลุดเรื่อง
ตอนแรกผมลองป้อนคำสั่งทุกอย่างรวมอยู่ใน user prompt เดียวกับคำถามรายวัน ผลคือโมเดล Llama-3.1-8B-Instruct บน Mac Mini M4 Pro ของเราให้คำตอบที่สลับไปมาระหว่างการวิเคราะห์เชิงเทคนิคกับการแนะนำเชิงจิตวิทยา โดยไม่มีโครงสร้างคงที่ ทำให้สคริปต์ Python ที่ดึงค่า stop loss ออกมาล้มเหลว 40% ของรอบทดสอบทั้งหมด เราจึงแยก system prompt ออกเป็นไฟล์ text สั้นๆ ยาวประมาณ 280 token context ก่อนทุก request ซึ่งทำให้ความสม่ำเสมอของ output สูงขึ้นเหลือ error rate แค่ 3% ในรอบทดสอบ 50 ครั้ง
โครงสร้างที่ทำงานได้จริง
system prompt ของเราประกอบด้วย 4 ส่วนหลัก ส่วนแรกกำหนดบทบาทว่าเป็น technical analyst ที่ใช้ RSI, MACD, Bollinger Bands ส่วนที่สองกำหนด output format เป็น JSON schema ที่ชัดเจน ส่วนที่สามระบุกฎการจัดการความเสี่ยง เช่น stop loss ต้องไม่เกิน 2% ของ capital และส่วนสุดท้ายระบุ timeframe ที่อนุญาตคือ 15m, 1h, 4h เท่านั้น
ตัวอย่าง JSON schema ที่เราใส่ใน prompt คือ object ที่มี key เป็น signal (ค่า: buy/sell/hold), confidence (0-100), stop_loss_pct (float), take_profit_pct (float) และ reason (string สั้นๆ) โครงสร้างนี้ทำให้สคริปต์ Python ของเราดึงค่าไปคำนวณ position size ได้ทันที โดยไม่ต้องใช้ regex หรือ NLP parsing ที่ซับซ้อน
วิธีป้อนผ่าน API
เราเรียก OpenRouter API ผ่าน Python requests library โดยส่ง payload ที่มี field model เป็น meta-llama/llama-3.1-8b-instruct และ field messages เป็น array ที่ element แรกคือ object role system content system_prompt_text ตามด้วย element ที่สองคือ role user content user_question
อัตราการตอบกลับโดยเฉลี่ยคือ 2.3 วินาทีต่อ request เมื่อใช้ endpoint ของ OpenRouter บนโมเดล 8B parameter ซึ่งเร็วพอสำหรับการวิเคราะห์รายวัน แต่ช้าเกินไปสำหรับ scalping ที่ต้องการ response ในระดับ 100-200 มิลลิวินาที เราจึงจำกัดการใช้งานอยู่แค่ระดับ swing trade เท่านั้น
User prompt ที่ให้ผลดีที่สุด
user prompt ที่ให้ผลดีที่สุดคือแบบที่ให้ข้อมูล price action ล่าสุด 5-10 แท่งในรูปแบบ CSV สั้นๆ พร้อม timeframe และ symbol เช่น BTC/USDT 1h: 67200,67350,67100,67450,67600 แล้วถามว่า วิเคราะห์และให้สัญญาณตาม schema
โมเดลจะตอบกลับ JSON ที่ตรงกับ schema ที่เราสั่งใน system prompt โดย confidence score โดยเฉลี่ยจะอยู่ที่ 65-78% เมื่อข้อมูล price action ชัดเจน แต่ถ้าตลาด sideways หรือ volatility ต่ำ confidence จะตกเหลือ 40-50% ซึ่งเราใช้ threshold 55% เป็นจุดตัดว่าสัญญาณนั้นน่าเชื่อถือพอหรือไม่
ข้อผิดพลาดที่พบบ่อย
ปัญหาที่พบบ่อยที่สุดคือโมเดลลืม output JSON และตอบเป็นข้อความปกติ ซึ่งมักเกิดเมื่อ context window เกิน 4000 token user prompt มีความซับซ้อนสูง วิธีแก้คือเพิ่มประโยคใน system prompt ว่า ถ้าข้อมูลไม่พอให้ตอบ JSON ที่มี signal เป็น hold และ confidence เป็น 0 แทนที่จะตอบเป็นข้อความ
อีกปัญหาหนึ่งคือ hallucination ในตัวเลข เช่น stop loss ที่คำนวณมาไม่ตรงกับราคาจริง วิธีแก้คือไม่ให้โมเดลคำนวณตัวเลขเอง แต่ให้โมเดลบอกแค่ direction และ confidence แล้วให้ Python script คำนวณ stop loss จาก ATR indicator ที่ดึงจาก exchange API โดยตรง ซึ่งลด error ได้จาก 15% เหลือต่ำกว่า 2%
ทดลองจริงบนเครื่องเรา
เราทดสอบ system prompt นี้บน Mac Mini M4 Pro (32GB RAM) โดยใช้ Llama-3.1-8B-Instruct ผ่าน Ollama API ที่พอร์ต 11434 บนเครื่องหลักของเรา ผลการทดสอบ 100 request ใช้เวลาเฉลี่ย 1.8 วินาทีต่อ request และใช้ VRAM ประมาณ 5.2 GB ระหว่าง inference
เมื่อเปรียบเทียบกับ OpenRouter API ที่ใช้โมเดลเดียวกัน ผลลัพธ์มีความคล้ายคลึงกัน 92% ในแง่ของ signal direction แต่ local inference เร็วกว่าเฉลี่ย 0.5 วินาที เพราะไม่ต้องผ่าน network latency อย่างไรก็ตาม OpenRouter ให้ stability ดีกว่าเพราะไม่มีปัญหา GPU thermal throttling ที่พบใน Mac Mini เมื่อรันต่อเนื่องเกิน 30 นาที
บทเรียนจากการทดลองล้มเหลว
เราเคยทดลองใช้ GPT-4o-mini ผ่าน OpenRouter API โดยหวังว่าจะได้ accuracy สูงกว่า Llama-3.1-8B แต่พบว่าการทดสอบ 50 request ให้ signal ที่ตรงกันกับ backtest strategy ของเราแค่ 58% ซึ่งต่ำกว่า Llama-3.1-8B ที่ให้ 67% ในชุดข้อมูลเดียวกัน
บทเรียนที่ได้คือโมเดลที่แพงกว่าไม่จำเป็นต้องดีกว่าสำหรับ task เฉพาะทางนี้ เพราะ Llama-3.1-8B ถูก fine-tune มาด้วยข้อมูล financial text จำนวนมากใน training set ขณะที่ GPT-4o-mini เป็น general-purpose model ที่ไม่ได้ specialize ด้านนี้ การเลือกโมเดลจึงต้องทดสอบกับ dataset จริงของเราก่อนเสมอ ไม่ควรตัดสินจาก benchmark ทั่วไป
วันนี้ผมเรียนรู้ว่า system prompt คือหัวใจของระบบ AI เทรด ถ้าตั้งขอบเขตไม่ดี AI จะหลุดเรื่องและให้คำตอบที่ไม่มีโครงสร้าง ซึ่งทำให้สคริปต์ดึงข้อมูลไม่ถูก การแยก system prompt ออกจาก user prompt และการกำหนด JSON schema ที่ชัดเจนคือวิธีที่ทำงานได้จริงสำหรับงานเฉพาะทางแบบนี้
