AGI-Eval 评测社区× GAIR Lab 发布最严苛AI基准：七大学科奥赛题难倒GPT-4o

目录：

01.OlympicArena 正式推出

02.OlympicArena 难度介绍

   2.1 覆盖领域广

   2.2 整体难度高

03.AGI-Eval评测模型榜单

04.学术难度分析

05.题型分析

06.难度分析

07.结语

01.OlympicArena 正式推出

自从年初 DeepSeek R1 版本开源后，国内外都又开始卷起推理系模型，不论是腾讯的 T1 还是字节在豆包上线“深度思考”推理模式的模型，高难度学科竞赛、代码竞赛的评测成为各大模型公司的关注目标。现在模型能力越来越强，一般难度的题目，模型之间都很难得出差异性，无法区分模型能力。

为了进一步挑战人工智能系统，大家已经开始研究一些最困难的竞赛中的问题，特别是国际奥林匹克竞赛和算法挑战。但目前尚无奥林匹克级别的、多学科的基准，能够全面评估综合解决问题的能力，以全面检验人工智能的综合认知能力。

AGI-Eval 大模型评测社区联手上海交通大学生成式人工智能实验室 (GAIR Lab) 的研究团队发布最新评测结果——多学科认知推理基准 OlympicArena。

02.OlympicArena 难度介绍

2.1 覆盖领域广

OlympicArena 覆盖数学、物理、化学、生物、地理、天文学、计算机科学7大领域，细分34个分支（如数论、量子物理、有机化学）。题目来源包括国际数学奥赛（IMO）、国际物理奥赛（IPhO）等 62 项顶尖赛事，共 11163 道双语题目（中英对照），实际的难度如何。

2.2 整体难度高

AGI-Eval大模型评测团队基于此，做了 OlympicArena 题目的难度验证，按照 14 个标杆模型（去除Qwen2-72B-Chat）的结果对数据子集和数据集维度做难度分布，从图中可以看到，OlympicArena 整体难度偏难，仅低于 AGI-Eval 团队私有的两个高中数学竞赛题目。

图片

03 模型榜单

“奥赛题是检验 AI 科学思维的绝佳试金石。”这类高难度题目不仅需要知识储备，更考验逻辑推导、空间想象、符号理解等综合能力。在这场超级测试中，那擅长代码、学科竞赛的推理系模型表现如何？

o1登顶本次榜单

从整体表现上看 o1 和 DeepSeek-R1 的水平基本持平，但是在化学、生物学、天文学、物理上 o1 表现好于 DeepSeek-R1，特别是天文学上 o1 得分达92.47%，但数学、地理方面 DeepSeek-R1 优于 o1。

图片

04 学术难度分析

从能力测试上可以看到模型在不同学科的表现水平不同，在天文学上 o1 得分高达 92.47%。是天文学很简单吗？基于此，团队也做了相关的学科分析，从下面的箱合图中可以看到（中位数越小越难）：

• 化学、生物、地理和天文为一档，该档模型中位数大于 0.6，从箱型大小可以得到构建优先级为：天文 > 化学 > 生物 > 地理
• 物理为单独一档，该档模型中位数 0.5 附近，箱型大小较大
• 数学为单独一档，该档模型中位数 0.3 附近，箱型大小极大

客观来说，在数学物理上 R1、o1、o3-mini 表现能力更好，能力水平也会更稳定。

图片

05 题型分析

除对模型进行能力评测外，团队也做了相关的题型分析，提炼出以下雷达图，从图中可以看到 1-5 排名的推理模型对其它模型产生了碾压的态势，特别是在非选择题题型上，建议构建题目以单问的生成题为主。

图片

△通用模型6-10

06 难度分析

同时也对模型在面对不同难度题目做了分析，可以看到头部模型在 Easy 难度基本已接近 100% 的准确率，且无区分度；Medium/Hard 难度是推理系模型拉开的主战场，且 Meidum 难度已达到 90% 的准确率，后续模型评测建议只构建Hard难度的题目。

图片

预测分析，用 Medium、Hard 拟合 Easy，Easy、Hard 拟合 Medium，以及 Easy、Medium 拟合 Hard，可以得到如下图（在 Ideal Fit 线上方的为超出预期，线下的为低于预期）。

• O3-mini、O1、DeepSeek-R1在Hard上已超越模型列表中的正常表现，但在Medium上略低于预期
• 平衡点：即 Easy、Medium、Hard 上分数为多少时三公式有解，说明模型表现均衡，Easy = 1, Medium = 0.6695, Hard = 0.1897

图片

图片

图片

07 结语

在去年6月的时候，在 GPT-4o 也只达到了 34.01% 的整体准确率，而其他开源模型的整体准确率也难以达到 20%。这一鲜明的对比凸显了我们的基准测试的巨大难度和严谨性，证明了它在突破当前 AI 能力界限方面的有效性。

图片

△该图为去年评测结果

OlympicArena 不仅是一套题库，还做了一些创新，比如为避免模型“刷题”，团队引入数据泄漏检测技术，采用 N-gram 预测检测数据泄露，确认99.6%的题目未被预训练数据污染。

除此之外还提供了一套全面的资源来支持人工智能研究，包括基准数据集、开源注释平台、详细的评估工具和具有自动提交功能的排行榜。

图片

OlympicArena 的诞生，是对现有模型的试金石，更是对AI研发路径的深刻启示：仅靠数据堆砌无法实现真正的智能。未来的AI应该学会像奥赛选手一样拆解问题、关联知识、严谨推导。

当模型能力达到这样的水平时，对模型的评测的题目难度及评测要求也越来越高，后续模型评测建议只构建Hard难度的题目。

在这种模式下，参与者可以与最新的大模型共同完成任务，既有助于提高任务完成度又便于建立更加直观的区分度。

未来随着模型能力的不断攀升，AI还有更多能力值得发掘和探索，对模型能力的考察也仍有更多创新空间。