Tóm tắt trước khi bắt đầu

  • BOMLLM (local) đạt 8.89 điểm so với Zai (cloud) 8.04 sau 15 ca thử nghiệm; vượt tiêu chí PASS ở tỷ lệ 1.1
  • Bước tiếp: chạy mô hình nhỏ trên máy cá nhân, nâng context lên 32k để xử lý tin dài hơn
  • Giới hạn: kết quả dựa trên 15 ca, chưa phản ánh toàn bộ điều kiện thị trường biến động

Tại sao LLM cục bộ lại nhanh hơn cloud trong đọc tin giao dịch?

Trong giao dịch thị trường biến động cao, tốc độ tiếp nhận thông tin quyết định lợi thế. Phụ thuộc cloud API để quét tin tức thời gian thực thường gặp độ trễ mạng và chi phí tích lũy tăng dần mỗi ngày. Chạy AI trên máy riêng giúp giảm đáng kể thời gian phản hồi vì không cần gửi dữ liệu qua lại server. Đồng thời, trader không phải lo chiến lược hay dữ liệu giao dịch nhạy cảm bị đưa lên hệ thống bên thứ ba. Cài đặt mô hình nhỏ nhưng hiệu quả cao trên máy lưu trữ cá nhân đang trở thành lựa chọn hấp dẫn cho người cần tốc độ và quyền riêng tư.

BOMLLM vượt Zai ở đâu trong phân tích tin tức?

Chúng tôi thử nghiệm hệ thống với bộ dữ liệu 15 trường hợp được chọn từ các tin tức quan trọng. BOMLLM, mô hình cục bộ, đạt điểm trung bình 8.89, cao hơn Zai ở 8.04, tạo ra tỷ lệ 1.1 - vượt qua tiêu chí sử dụng (PASS) một cách rõ ràng. Trong danh mục LINE_QA, kiểm tra hiểu ngữ cảnh hội thoại qua 10 vòng, BOMLLM đạt 8.93, bỏ xa Zai ở 6.33 với tỷ lệ lên tới 1.41 và được hệ thống phán quyết "Thai_verdict: PASS". Điều này cho thấy mô hình cục bộ hiểu ngữ cảnh tin tức và tiếng Thái tốt hơn hệ thống cloud thông thường trong một số trường hợp. Kết quả này bổ sung cho các phân tích trước đây về so sánh AI và con người trong dự đoán thị trường, xem thêm tại AI và con người cạnh tranh dự đoán 65 ca: kết quả không phụ thuộc vào ai thông minh hơn.

Hiệu suất thực tế trên Mac mini M4 như thế nào?

Đội ngũ đã chạy thử nghiệm cường độ cao trên Mac mini M4 (Mac16,11) với 48GB RAM, truy cập qua SSH để điều khiển từ xa. Tỷ lệ trung bình hoạt động đạt 0.80 trong vòng đầu và 0.84 trong vòng tiếp theo - đều ở mức sử dụng tốt. Hệ thống xử lý trung bình 68.7 và 25.3 token mỗi lần, với thời gian trung bình khoảng 6.8 đến 12.5 giây cho mỗi lần xử lý. Lệnh quyết định chọn mô hình là "qwen wins or ties", dẫn đến việc ngừng sử dụng mô hình Typhoon để giải phóng 18GB RAM và chuyển sang Context Depth 32k. Điều này giúp xử lý chi tiết hơn và liên kết dữ liệu lịch sử tốt hơn mà không ảnh hưởng tốc độ tổng thể. Cấu hình phần cứng này phù hợp với cách chúng tôi tổ chức đội máy AI tại nhà: Mac Mini M4 Pro + máy lưu trữ cá nhân + workstation, nơi mỗi thiết bị đảm nhận vai trò riêng.

Bảo mật và lọc dữ liệu rủi ro được đảm bảo ra sao?

Ngoài hiệu suất, bảo mật khi sử dụng rất quan trọng với trader. Từ 15 trường hợp thử nghiệm BOMLLM, chúng tôi phát hiện số lượng trường hợp có lo ngại về an toàn là 0 - mô hình không tạo ra câu trả lời rủi ro hay nội dung không phù hợp trong bất kỳ trường hợp nào được kiểm tra. Việc mô hình cục bộ có thể lọc dữ liệu tốt mà không cần phụ thuộc vào lớp an toàn (Safety Layer) của nhà cung cấp cloud giúp tin tức đưa vào phân tích không bị kiểm duyệt tự động hay ghi lại để sử dụng cho mục đích khác ngoài giao dịch của chính chúng ta. Đây là lợi thế rõ ràng khác khi triển khai Local AI thực tế, tương tự những gì chúng tôi đã ghi nhận trong AI cục bộ vượt cloud trong phân tích tin tức.

Bài học từ quản lý tài nguyên và thất bại ban đầu

Trong giai đoạn đầu, việc phân bổ RAM không hợp lý khiến một số mô hình chạy chậm hơn dự kiến. Giải pháp là theo dõi sát tỷ lệ sử dụng (tỷ lệ hoạt động) và token trung bình để điều chỉnh kịp thời. Khi tỷ lệ hoạt động xuống dưới 0.75 hoặc thời gian xử lý vượt quá 15 giây, cần xem xét lại cấu hình. Kinh nghiệm này phù hợp với 7 quy tắc vàng trước khi cho EA tiếp cận tài khoản thật - luôn kiểm tra hiệu suất trong môi trường kiểm soát trước khi áp dụng vào giao dịch thực.

Nếu muốn công cụ phân tích vàng sẵn sàng, xem hệ thống của chúng tôi tại cafefx.ai. Đối với người muốn thử giao dịch vàng thực tế mở tài khoản XM qua đối tác của chúng tôi.