ملخص قبل البدء
- النموذج المحلي حقق دقة أعلى في الاختبارات لكنه فشل في الإنتاج بسبب بطء الاستجابة
- التراجع إلى خدمة السحابة كان قرارًا صائبًا لحماية تجربة العملاء
- الحل يكمن في تقليم البيانات وفصل المهام بدلًا من الاعتماد على سياق طويل
لماذا فشل النموذج المحلي رغم تفوقه في الاختبارات؟
بدأت القصة بفكرة نقل بوت خدمة العملاء للعمل على Mac Mini M4 Pro في المنزل لتقليل التكاليف وزيادة الخصوصية. أظهرت الاختبارات أن النموذج الجديد حصل على 8.40 في الدقة، متفوقًا على النسخة الأصلية التي حصلت على 7.68. لكن الواقع كان مختلفًا تمامًا. المشكلة لم تكن ذكاء النموذج، بل زمن الاستجابة (latency).
كيف أثّر السياق الطويل على سرعة الاستجابة؟
حاولت جعل النموذج يقرأ سياقًا طويلًا يصل إلى 6,928 token لتغطية تحليل الذهب وإشارات التداول. النتيجة كانت سرعة معالجة حوالي 115 token في الثانية، وهو رقم لا يبدو سيئًا. لكن عند ضربه بعدد الـ tokens التي يجب معالجتها، اضطر العملاء للانتظار أكثر من 85 ثانية. في عالم الفوركس حيث كل ثانية لها قيمة، هذا التأخير غير مقبول.
ماذا تعلمت من 4,028 سطرًا من السجلات؟
فحصت السجلات الخلفية ووجدت 4,028 سطرًا من محادثات تأثرت بهذا التأخير. العودة إلى النظام الأصلي ليست استسلامًا، بل اعتراف بأن الاختبارات والإنتاج عالمين مختلفين. في الاختبارات نقيس الدقة في ظروف ثابتة، لكن في الإنتاج نقيس الاستقرار والسرعة تحت أحمال حقيقية. يمكنكم قراءة المزيد عن تجربتنا مع الذكاء الاصطناعي المحلي يتفوق على السحابة في تحليل الأخبار لفهم الفروق الدقيقة بين البيئتين.
ما هو الحل التالي لتسريع النظام؟
تعلّمت أن الـ prompts الطويلة ليست دائمًا الحل. أحيانًا يكون تقليم البيانات غير الضرورية لجعل النموذج يعالج بشكل أسرع أكثر قيمة. خطتي التالية هي تصميم نظام يفصل بين تحليل الإشارات والمحادثات، بحيث يستخدم البوت prompts قصيرة للإجابة على الأسئلة العامة. هذا يتوافق مع مبادئنا في أرسلتُ البوت للرد على العملاء باستخدام LLM محلي ثم اضطررت للتراجع.
كيف تختار بين النموذج المحلي والسحابة؟
العملاء لا يهتمون بدرجة نموذجك، بل يهتمون فقط بالحصول على إجابة سريعة وصحيحة. لذلك فإن ضبط النظام مستقبلاً سيركّز على تقليل زمن الاستجابة كأولوية. إذا كنتم تفكرون في بناء نظام مشابه، أوصي بقراءة الذكاء الاصطناعي المحلي يتفوق على السحابة في تحليل الأخبار وأرسلتُ البوت للرد على العملاء باستخدام LLM محلي ثم اضطررت للتراجع لفهم المفاضلات الحقيقية.
هل جربتم نماذج محلية في بيئات إنتاج؟
هذا الدرس كان باهظ الثمن لكنه ضروري. التمسك برقم 8.40 بدلاً من النظر إلى تجربة المستخدم الشاملة جعلني أوشك على ارتكاب خطأ فادح. قبول أن أفضل تقنية لا تعني بالضرورة أنها الأفضل لكل موقف هو خطوة مهمة في نمو iCafeFX وSiamCafe. يمكنكم مشاركة تجاربكم في التعليقات أو قراءة أرسلتُ البوت للرد على العملاء باستخدام LLM محلي ثم اضطررت للتراجع لفهم التفاصيل التقنية الكاملة.
ما الذي يجب فعله الآن؟
ابدأوا باختبار نماذج محلية في بيئة معزولة قبل نقلها للإنتاج. راقبوا زمن الاستجابة بدقة وقيسوا تجربة المستخدم الفعلية، لا فقط الأرقام النظرية. إذا واجهتم تحديات مشابهة، يمكنكم الرجوع إلى أرسلتُ البوت للرد على العملاء باستخدام LLM محلي ثم اضطررت للتراجع أو استشارة فريقنا عبر بوت LINE لإشعارات أسعار الذهب.
