人工智能在各个领域展现出强大的能力，但其在处理复杂历史问题上的局限性也日益凸显。最近的研究表明，即使是最先进的大型语言模型，在处理细致入微的历史细节时也存在明显的不足。这项研究对现有AI模型的可靠性和应用范围提出了新的挑战，也为未来AI模型的改进方向提供了宝贵的参考。
最新研究显示，尽管人工智能在编程和内容创作等领域表现出色，但在处理复杂的历史问题时仍显不足。近期在NeurIPS会议上公布的一项研究表明，即使是最先进的大型语言模型（LLM）在历史知识测试中也难以取得令人满意的成绩。
研究团队开发了名为Hist-LLM的测试基准，对OpenAI的GPT-4、Meta的Llama和谷歌的Gemini三款顶级语言模型进行评估。测试基于Seshat全球历史数据库进行，结果令人失望:表现最佳的GPT-4Turbo准确率仅为46%。
伦敦大学学院副教授玛丽亚·德尔里奥-查诺纳解释说:"这些模型在基本史实方面表现不错，但在涉及博士级别的深入历史研究时却力不从心。"研究发现AI经常在细节上出错，比如错误判断古埃及某些时期是否拥有特定军事技术或常备军。
研究人员认为，这种表现欠佳源于AI模型倾向于从主流历史叙事中进行推断，难以准确把握更为细微的历史细节。此外，研究还发现这些模型在处理撒哈拉以南非洲等地区的历史问题时表现更差，暴露出训练数据可能存在的偏差问题。
复杂性科学中心（CSH）的研究负责人Peter Turchin表示，这一发现说明在某些专业领域，AI尚无法取代人类专家。不过研究团队仍对AI在历史研究中的应用前景保持乐观，他们正在改进测试基准，以期帮助开发出更优秀的模型。
这项研究结果提醒我们，虽然人工智能技术发展迅速，但在某些特定领域，人类专家的知识和判断仍然不可替代。未来，需要进一步改进AI模型，使其能够更好地处理复杂的历史信息，为历史研究提供更有效的辅助工具。