子川投资笔记微信公众号：“新知”栏目，关注AI、脑与认知、哲学与艺术、前沿科技等领域，力图提供最新和最好的外刊文章中译版；“经典”栏目，持续更新“巴菲特致股东信”精译及评注系列；“维特根斯坦”哲学系列；“洞见”栏目：分享关于技术进步、AI哲学与伦理、投资哲学的深度思考。




一、研究背景
研究人员近期评估了先进人工智能模型在回答全球历史问题方面的能力，测试基准来自塞沙特全球历史数据库（Seshat Global History Databank）。这项在温哥华神经信息处理系统会议上发表的研究显示，表现最好的GPT-4 Turbo模型在多项选择测试中得分为46%。这一成绩虽然明显优于随机猜测，但距离专家水平仍有很大差距。研究结果凸显了当前AI工具在处理和理解历史知识方面的重大局限性，尤其是在北美和西欧以外的地区。
这项研究的动机源于探索人工智能工具在历史和考古研究中的潜在应用。历史和考古学常常需要分析大量复杂且分布不均的数据，这使得这些领域对研究者来说特别具有挑战性。
人工智能，特别是大语言模型（LLMs）在法律和数据标注等领域已经展现出其实用价值。这引发了一个问题：这些工具是否也能通过处理和综合历史知识来辅助历史学家的工作。研究人员希望AI能够增强人类的研究能力，提供可能被忽视的见解，或加快数据整理等耗时工作。
二、研究数据
复杂科学中心的项目负责人彼得·图尔钦（Peter Turchin）及其合作者开发了塞沙特全球历史数据库，这是一个全面的历史知识储存库。他们认识到有必要对AI的历史理解能力进行系统评估。研究人员希望这项研究不仅能揭示当前AI的优势和局限，还能为未来完善这些学术工具提供指导。
塞沙特全球历史数据库包含了关于600个历史社会的36,000个数据点，涵盖了所有主要世界地区，跨越了10,000年的历史。这些数据点来自2,700多个学术来源，由专业历史学家和研究生助理进行编码。该数据集独特之处在于系统地记录了有力证据和推断结论。
三、研究方法
为了评估AI性能，研究人员将数据集转化为多项选择题，询问某个历史变量（如文字的存在或特定治理结构）在特定社会时期是"存在"、"不存在"、"推断存在"还是"推断不存在"。研究测试了七个AI模型，包括GPT-3.5、GPT-4 Turbo、Llama和Gemini。这些模型被提供示例以帮助理解任务，并被要求以专家历史学家的身份作答。
研究人员使用平衡准确率指标来评估模型表现，这一指标考虑了数据集中答案分布不均的情况。随机猜测的得分为25%，而完美准确率则为100%。研究还测试了模型在区分"有证据的"和"推断的"事实方面的能力，这是历史分析中的一项关键技能。

复杂科学中心的驻站科学家Jakob Hauser解释道："我们希望为评估这些大语言模型处理专家级历史知识的能力设立一个基准。塞沙特数据库让我们能够超越'常识性'问题。我们的基准测试不仅考察这些模型是否能识别正确事实，还明确询问某个事实是可以被证实的，还是从间接证据推断出来的。"

四、主要结论

在所有模型中，GPT-4 Turbo表现最佳，在四选一测试中达到43.8%的平衡准确率。虽然这一成绩超过了随机猜测，但仍远未达到专家水平。在简化的二选一格式（"存在"对"不存在"）中，GPT-4 Turbo表现更好，准确率达到63.2%。这些结果表明，虽然模型能够识别直接的事实，但在处理更细微的历史问题时仍然存在困难。

图尔钦指出："这项研究的一个令人惊讶的发现是这些模型表现得如此糟糕。这个结果表明人工'智能'具有很强的领域特异性。大语言模型在某些情况下表现出色，但在其他方面与人类相比则表现得很差。"

五、其他结论

研究还揭示了模型在不同地区、时期和历史数据类型方面的表现模式。模型在较早的历史时期（如公元前3000年之前）表现更好，但在处理近期数据时遇到困难，这可能是由于社会和历史记录随时间推移变得更加复杂。从地区来看，模型对美洲社会的表现最好，而对撒哈拉以南非洲和大洋洲的表现最差，这凸显了模型训练数据中可能存在的偏见。

复杂科学中心社会复杂性和崩溃研究组负责人图尔钦解释说："像ChatGPT这样的大语言模型在某些领域取得了巨大成功——例如，它们在很大程度上成功替代了律师助理。但在判断过去社会的特征时，特别是北美和西欧以外地区的社会，它们的能力就受到很大限制。"

有趣的是，模型在不同类型的历史数据（如军事组织、宗教实践和法律制度）方面表现出相对一致性。然而，不同模型之间的表现差异显著。GPT-4 Turbo在大多数类别中始终优于其他模型，而较小的模型如Llama-3.1-8B则难以达到相似的结果。

六、研究局限性

研究人员承认他们的研究存在几个局限性。虽然塞沙特数据库内容全面，但它反映了其来源的偏见，这些来源主要是英语文献，且集中在有详细记载的社会。这种语言和地区偏见可能影响了模型的表现。此外，研究只测试了有限数量的AI模型，未来还可以评估更新或更专业的工具。

这项研究还突显了解释历史数据的挑战。与有明确答案的领域不同，历史常常涉及模糊性和争议，这使得为AI评估设计客观基准变得困难。此外，模型在撒哈拉以南非洲等地区的表现不佳，凸显了需要更多样化的训练数据来准确反映全球历史。

七、后续研究计划

展望未来，研究人员计划扩展塞沙特数据集，纳入更多来自代表性不足地区的数据，并加入其他类型的历史问题。他们还计划测试更新的AI模型，以评估AI技术的进步是否能解决本研究中发现的局限性。

八、总结

伦敦大学学院助理教授、研究通讯作者Maria del Rio-Chanona表示："这项研究的主要结论是，虽然大语言模型令人印象深刻，但它们仍然缺乏进行高级历史研究所需的深入理解能力。它们在处理基本事实方面表现出色，但在涉及更细微的博士级历史研究时，还未达到要求。"

这篇题为《大语言模型专家级全球历史知识基准测试（HiST-LLM）》的论文由Jakob Hauser、Daniel Kondor、Jenny Reddish、Majid Benam、Enrico Cioni、Federica Villa、James S. Bennett、Daniel Hoyer、Pieter François、Peter Turchin和R. Maria del Rio-Chanona共同撰写。

原文作者：Eric W. Dolan

发表时间：2025年1月22日

参考资料：https://proceedings.neurips.cc/paper_files/paper/2024/hash/38cc5cba8e513547b96bc326e25610dc-Abstract-Datasets_and_Benchmarks_Track.html


https://www.psypost.org/ai-models-struggle-with-expert-level-global-history-knowledge/


～完～


感谢阅读，麻烦点个👍和❤️，谢谢！



‍