今天我们要讲述最近发生的一件事，解释为什么我们必须决定将使用已久的旧版泰语模型从系统中移除。尽管它在质量方面与新模型持平，但在速度上却慢了2.7倍，这对于需要即时响应客户的我们业务来说是一个非常重要的问题。
两款泰语模型的测试
不久前，我们的团队对两款未公开名称的泰语模型进行了测试。我们准备了涵盖多个方面的10个问题，以评估模型在回答复杂且需要高精度问题时的质量。结果令人兴奋，因为尽管是不同厂商的模型，两者都获得了10/10的相同分数。
速度是关键因素
尽管质量相同，但在速度方面，我们发现新模型比旧模型快2.7倍。在我们从事的黄金和外汇交易业务中，响应客户非常重要，因为客户可能需要在短时间内获取信息以做出决策。旧模型需要更长时间才能给出结果，这可能会影响客户的体验。
回答相似度分析
我们对两个模型在4个不同的调用路径上的回答相似度进行了分析，发现端到端的回答相似度在0.90-0.97之间。这意味着尽管处理过程存在差异，但两个模型的输出结果非常接近。这清楚地证明新模型能够提供与旧模型相当的结果，同时在速度方面更优。
决定移除旧模型
决定移除旧模型并不容易，因为我们使用这个模型已经很长时间了，并且围绕它开发了许多系统。但在经过测试和仔细的数据分析后，我们的团队决定全面转向新模型。尽管调整需要时间和资源，但速度的提升将有助于提高整个系统的效率。
系统调整
在拥有数千名真实用户的系统中更换模型同样不容易。我们必须逐步进行调整，确保一切运行顺畅，不影响用户。广泛的测试和对调整后结果的监控是我们特别重视的重要事项。
获得的教训
通过这次事件，我们学到了关于AI开发的重要教训：仅有质量是不够的。速度和实用性是不应被忽视的因素，特别是在需要快速响应的业务中。我们必须始终同时考虑这两个方面。当出现更优越的新技术时，无论是质量还是速度方面的提升，升级都是必要的。
对于想要尝试真实黄金交易的人，可以在这里开设XM账户：通过我们的合作伙伴开设XM账户
