OpenAI新模型评测基准深入分析
Length: • 2 mins
Annotated by Harry
您说:
评估 LLM 性能时,benchmark 得分是重要的参考指标。我了解不少 benchmark,但是觉得不全面不系统,而且 benchmark 本身也推陈出新。我的目标是作为 AI技术的使用者、布道者和民间研究者,对benchmark 建立全面的个人知识体系。 请你帮我做一个关于 LLM benchmark 的综述报告。 研究思路上,benchmark 范围是 openai.com上使用过的所有 benchmark。重点包括 openai 在最近1年内发布新模型(gpt-4o,openai-o1, openai-o1-pro, openai-o1-mini, openai-o3, openai-o3-mini, openai deep research)使用的 benchmark。 每个 benchmark,介绍它是什么,有什么特点,leaderboard 上排名前几的模型。 把所有的 benchmark 分为几个大类别,按类别分析和概述。 使用英文搜索,只采纳英文资料(因为这个主题的信息在互联网上英文资料在数量和质量上是最好的),但最后交付的研究报告请使用中文。
ChatGPT 说:
好的,我会围绕 OpenAI 在最近 1 年内发布的新模型(如 GPT-4o、OpenAI-O1、OpenAI-O1-Pro、OpenAI-O1-Mini、OpenAI-O3、OpenAI-O3-Mini、OpenAI Deep Research)所使用的 benchmark 进行综述。
在正式展开研究前,有几点需要与你确认:
- benchmark 分类方式:你是否有偏好的分类方式?例如,按能力(语言理解、推理、编码)、按应用场景(NLP、数学、编程)、或其他标准?如果没有,我会根据研究结果归纳合理的分类。
- 详细程度:你希望对每个 benchmark 进行多深入的分析?例如,是否需要对 benchmark 的评测方法、历史演变、具体测评任务等进行详细拆解?
- Leaderboard 重点:你希望获取的 leaderboard 数据是 OpenAI 模型的得分,还是所有领先模型的对比?
请告诉我你的偏好,以便更好地完成研究任务!
您说:
1、无偏好; 2、深入分析; 3、leaderboard 前 3-5 名的模型得分。
ChatGPT 说:
好的,我将对 OpenAI 在最近 1 年内发布的新模型(GPT-4o、OpenAI-O1、OpenAI-O1-Pro、OpenAI-O1-Mini、OpenAI-O3、OpenAI-O3-Mini、OpenAI Deep Research)使用的 benchmark 进行深入分析。
- 我会对这些 benchmark 进行详细介绍,包括其测试内容、特点、评测方法、历史演变等。
- 我会对所有 benchmark 进行合理分类,以确保综述结构清晰。
- 我会收集 leaderboard 数据,并重点列出排名前 3-5 名的模型及其得分。
研究完成后,我会以中文整理成一份完整的综述报告。请稍等,我完成后会通知你!
OpenAI新模型评测基准深入分析
1. Benchmark介绍
OpenAI在过去一年发布了多款新模型(如GPT-4o、OpenAI o1系列、OpenAI o3系列以及“Deep Research”代理等)并对其进行了全面评测。下面详细介绍这些模型使用的主要Benchmark,包括其测试内容、评测方法、特点和演变历史:
MMLU(Massive Multitask Language Understanding)
MMLU是大型多任务语言理解基准,包含57个学科的大量多项选择题,涵盖高中、大学水平的知识。该基准通过衡量模型在广泛领域回答专业知识问题的准确率来评估通用知识和语言理解能力
。评测方法通常是零样本或少样本(如0-shot或5-shot)下回答选择题。MMLU最早由OpenAI提出用于评估GPT-3等模型,此后成为LLM评测标准之一,随着模型进步,其难度不断提升以区分顶尖模型性能。
M3Exam
M3Exam是一项多语言、多模态、多层次的全新基准,由真实的人类考试题组成,用于全面评估LLM的一般智能
。它涵盖来自多个国家的标准化考试问题,包括9种语言、3个教育水平 (~23%的问题带有图像或图表)
。评测模型是否具备多语言文化知识、理解图形/图表等多模态内容以及不同教育阶段问题的推理解答能力。M3Exam是2023年提出的新基准,研究发现即使最强模型(如GPT-4)在低资源语言和复杂多模态问题上仍然表现不佳
。因此,M3Exam成为衡量新一代多模态大模型(如GPT-4o)的重要测试,后者在该基准上已全面超越GPT-4
。
Humanity’s Last Exam (HLE)
“人类最后的考试”是由安全AI组织推出的极高难度基准,旨在成为“如果AI通过了这套考题,人类可能无题可出”的最终挑战
。HLE包含约3000道横跨数学、人文和自然科学等众多领域的开放性高难度问题
。这些问题由专家设计,要求模型具备跨学科的深厚知识和复杂推理能力,被称为“人类所能提出的最难考试”
。评测方法通常是让模型在无外部工具帮助下回答这些开放性问题,以计算其准确率。HLE于2023年底发布,初版数据显示,人类专家正确率约92%,而GPT-4借助插件仅约15%
。因此,HLE被用来检验前沿模型在专家级知识任务上的极限能力。
GAIA (General AI Assistant Benchmark)
GAIA是Meta等提出的通用AI助手能力基准,共466道真人设计的问题
。与传统NLP基准不同,GAIA的问题贴近现实场景,往往需要模型具有推理、多模态处理、网络浏览和工具使用等一系列能力
。题目可能附带网页、图像、表格等文件,需要模型检索信息并给出解决方案
。GAIA采用过程评分,不仅考查答案正确性,还评估模型推理过程的合理性,如同评分学生解题步骤
。该基准体现“真实世界任务”导向,强调综合运用工具和知识解决问题
。GAIA于2023年底提出,旨在推动AI从封闭任务评测转向复杂开放任务评测
。它常用于评估具备浏览器或插件等工具的代理型系统,例如OpenAI的“Deep Research”代理就在此基准上取得了最新的SOTA成绩
。
MGSM(Multilingual Grade School Math)
MGSM是GSM8K(小学数学问答基准)的多语言版,包含各国语言的数学应用题,考察模型在基础数学和算术推理上的能力。模型必须阅读日常语言描述的数学问题,并给出计算结果或推理过程。评测方法一般允许模型0-shot或few-shot解题,也可结合链式思维(CoT)提示。MGSM的特点在于引入多语言(例如中文、法语等)的数学问题,要求模型既懂数学又懂语言。随着模型改进,数学推理一直是LLM的弱项之一,MGSM用于衡量模型是否在非英语环境下也能正确“列式计算”。OpenAI的GPT-4o等模型在MGSM上已展现卓越表现(例如GPT-4o在多语种小学数学问题上正确率达90.5%
),表明多语言数学推理能力的大幅提升。
MATH Benchmark
MATH基准由MIT等推出,收集了美国高中数学竞赛问题,难度远高于基础数学题。它涵盖代数、几何、微积分等高级题目,通常需要多步推导。评测时模型需给出最终答案(选择或填空),准确率衡量数学竞赛级别问题的解题能力。MATH历史上对LLM极具挑战,例如GPT-4发布时仅约50%准确率
。随着“链式思维”(CoT)和强化训练,模型成绩迅速提高:GPT-4o已将成绩提升到76.6%
。OpenAI的新模型o1则通过延长思考步骤,将MATH准确率提高到近乎人类水平的96.4%,创造了新的纪录
。MATH基准的发展见证了大型模型在严谨数学推理方面从不擅长到接近完美的演变
。
HumanEval
HumanEval是OpenAI提出的代码生成基准,包含多道编程函数题(由注释描述要求)。模型需根据问题描述生成满足规范的Python代码,然后通过隐藏测试用例验证正确性。HumanEval以Pass@k指标评估模型在k次生成内输出正确代码的概率。作为编程能力的重要衡量标准,HumanEval最初GPT-3成绩很低,但GPT-4提升到约80%以上。GPT-4o进一步提高,通过强化和改进上下文,达到了约90.2%的Pass@1通过率
。这意味着在一次尝试中,GPT-4o十道题能解对九道,显示代码合成能力的飞跃。HumanEval演变体现了大型模型在代码理解与生成方面的持续进步,如今最新的OpenAI o1模型在更复杂的动态编码任务上也取得显著提升
。
MMMU(Multimodal Multilingual Understanding)
MMMU是衡量模型视觉-语言推理能力的Benchmark,常包含需要根据图像或图表回答问题的任务。典型问题如给出一张图或漫画,问模型其中涵义或需要从视觉中提取信息。MMMU强调多模态融合理解,例如看图回答常识问答或解释图片场景。随多模态LLM发展,各大模型(GPT-4, Gemini等)在MMMU上一较高下。GPT-4o发布时声称在MMMU上取得最新的SOTA成绩
。MMMU的评测通常是0-shot,即不给示例,直接让模型对新图景问题作答,考察模型视觉解析+语言推理的能力。它的历史较短,但已成为检验像GPT-4o、OpenAI o1等具备视觉模块模型的重要指标。
MathVista
MathVista是一个结合数学和视觉的高难度任务集合。它通常提供带有数学表达式或图形的图片,让模型解答其中涉及的数学问题。因此,模型既需图像理解,又需数学推理,被视为跨模态复杂推理挑战。评测方式为0-shot或few-shot,让模型直接解析图中信息并给出答案。例如题目可能是手写的几何图形求解角度。MathVista随多模态模型出现而提出,用以拉开视觉推理性能差距。OpenAI在GPT-4o评估中使用了MathVista,并指出GPT-4o在这类视觉数学题上达到领先水平
。MathVista考验模型将视觉和符号推理相结合,是“AI解题”向人类考试领域逼近的体现。
ChartQA
ChartQA是一种专注于图表理解问答的基准。它提供各类统计图表(柱状图、折线图、饼图等)及其说明,要求模型读取并解释图表来回答问题。这个任务模拟现实中阅读数据可视化的场景,评估模型数据理解与分析能力。ChartQA通常需要模型具备OCR识别图中文字、读懂坐标轴和图例、并进行逻辑推断。评测指标为模型回答的准确率或评分。随着多模态技术进步,ChartQA得到重视。GPT-4o在ChartQA上实现了零样本状态下的最佳成绩
。该基准的历史也反映了AI从简单视觉识别向深度图表分析能力的发展。
CoVoST-2
CoVoST-2是Facebook提供的大规模语音翻译基准,涵盖多种语言的语音转文字翻译任务。它要求模型将一段音频(说某种语言)直接翻译成另一种语言的文本。评测采用BLEU分数衡量翻译输出与参考译文的匹配程度。CoVoST-2测试模型的听觉理解(ASR能力)和跨语言翻译能力。传统上,专用语音模型(如Meta的SeamlessM4T)在该任务表现突出,但缺乏语言模型的通用性。OpenAI GPT-4o通过多模态训练在CoVoST-2上取得了** BLEU 42左右的最高分**,显著超越Meta和Google的最新模型(它们约在35分左右)
。这表明通用LLM在融合语音翻译后,可以达到甚至超过专业语音模型的水平。
MLS(Multilingual LibriSpeech)
MLS是多语种语音识别基准,由LibriSpeech扩展到多语言版本,包含来自多个语种的有声读物录音文本对。任务要求模型将不同语言的语音转写成文字,以字错率(WER)评估准确率,WER越低表示识别越准确。MLS测试模型对不同语言语音(包括口音、多说话人)的识别鲁棒性。OpenAI在GPT-4o中加入了端到端语音能力,使其在MLS基准上全面超越了之前最强的ASR模型Whisper-v3
。尤其在东欧、南亚等低资源语言上,GPT-4o显著降低了错误率
。MLS的历史反映了从专门ASR模型(Whisper等)到多能型LLM在语音上的突破,GPT-4o展现了统一模型处理语音识别的可行性。
GPQA(Graduate-level Problem-solving QA)
GPQA(部分资料称其“GPoQA”)是一项研究生水平、Google难以搜索的问答基准。它汇集了生物、物理、化学等领域的高难度多项选择题约448道
。这些问题由领域专家编写,旨在难倒搜索引擎,需要模型具备深厚专业知识和不依赖简单搜索的推理能力
。GPQA以准确率衡量模型能否在无外部知识库情况下回答高级问题。它于2023年提出,被用来测试模型对高等专业知识的掌握。GPT-4o在该基准上正确率约53.6%,表现出对复杂问题仍有困难
。而OpenAI的更高阶模型o3在最新评测中将这一成绩提升到约87.7%,远超先前模型和一些专家水平
。GPQA见证了高级别知识问答方面,AI从不足一半正确到逼近90%的巨大飞跃。
2. Benchmark分类
根据以上研究,各项Benchmark可按照模型能力和应用场景分为几类:
- 语言知识与综合推理类:包括MMLU、M3Exam、Humanity’s Last Exam、GPQA等。这类基准考查模型在广泛领域的知识储备和复杂推理能力,侧重于模拟人类考试或问答场景,覆盖多学科、多语言,属于通用智力评测。
- 数学与逻辑推理类:包括MGSM、MATH等数学基准以及涉及逻辑思考的题目(如一些GAIA任务)。这些Benchmark专门评估模型的数学计算、符号推理和多步逻辑能力,从基础算术到竞赛难题,体现模型“逐步思考”的能力。
- 编程与代码生成类:如HumanEval以及OpenAI内部更复杂的编码挑战 (如SWE-bench, LiveCodeBench)ainews.comainews.com。这一类任务要求模型理解自然语言描述的编程需求,并输出可运行的代码,是对计算机编程知识和逻辑的测试,应用于代码助手场景。
- 视觉与多模态理解类:包括MMMU、MathVista、ChartQA、DocVQA、AI2D等基准。这类Benchmark提供图像、图表或文档,让模型进行视觉内容分析和跨模态推理。它们评估模型将视觉信号转化为语言答案的能力,应用场景如图片问答、图表解读等。
- 语音与听觉处理类:如MLS(语音识别)和CoVoST-2(语音翻译)基准。这类任务针对语音输入,要求模型转录或翻译音频内容,评估听觉理解与多语言处理能力,适用于语音助手、实时翻译等场景。
- 工具使用与代理任务类:如GAIA基准及OpenAI “Deep Research”演示的任务。这类Benchmark通常需要模型调用外部工具或进行多步骤的计划(如上网搜索、查询数据库)才能完成,例如GAIA中的实时搜索问题,TAU-bench中的具体业务任务ainews.comainews.com。它们测试的是模型作为自主代理(Agent)的规划、检索和执行能力,在实际应用中具有重要意义。
以上分类帮助我们从不同维度理解Benchmark:有的偏重知识和智力(语言/数学),有的偏重技能和多模态(编程/视觉/语音),也有侧重任务执行(工具/代理)。这些类别相互补充,全面刻画模型能力谱系。
3. Leaderboard数据与OpenAI模型表现分析
通过收集各Benchmark公开Leaderboard的最新数据,我们可以看到OpenAI新模型在其中的表现如何,并与其他领先模型比较:
- MMLU(通用知识):在MMLU排行榜上,OpenAI的GPT-4o名列前茅,以88.7%的准确率达到当前最高水平paperswithcode.com。同样达到88.7%的还有Anthropic的Claude 3.5(Sonnet模型,5-shot设置)paperswithcode.com。Meta最新的Llama 3.1 (405B参数, CoT提示)也几乎持平,得分88.6%paperswithcode.com。腾讯的混元大模型紧随其后,得分约88.4%paperswithcode.com。这表明在广泛知识问答上,OpenAI与Anthropic并列领先,Meta的超大模型和国内模型非常接近。值得注意的是,GPT-4o相比GPT-4有小幅提升(GPT-4约86.5%en.wikipedia.org),显示OpenAI在知识广度和推理上的持续改进。
- M3Exam(多语言多模态考试):由于这是新近推出的综合基准,目前公开排行榜有限。据OpenAI披露的数据,GPT-4o在M3Exam涵盖的所有语言上全面超过了原GPT-4scribbledata.io。尽管具体分数未完全公布,但这一现象说明GPT-4o在多语言、多模态场景下取得了领先性能。考虑到GPT-4在某些非英文试题上表现不佳nips.cc,“GPT-4 omni”显然填补了这方面差距,达到新的高度。可以预期随着更多模型参与,GPT-4o会在M3Exam榜单上名列前茅,确立多模态考试任务上的领先地位。
- Humanity’s Last Exam(终极知识考验):这是刚推出的前沿基准,目前尚无完整排行榜,但OpenAI的“Deep Research”代理取得了突破性结果。根据官方介绍,搭载o3模型并使用工具的Deep Research在HLE上达到26.6%的准确率community.openai.com。别看这个百分比不高,它实际上已超过此前所有AI模型,刷新了专家级知识问答的纪录community.openai.com。此前最强模型(如GPT-4等)在HLE的成绩估计在20%左右徘徊klu.ai。因此,Deep Research的成绩标志着AI在跨领域困难问题上向前迈进了一大步。不过,与人类92%的水平相比仍有巨大差距klu.ai,HLE也将继续作为极限挑战推动模型进步。
- GAIA(通用AI助手):GAIA榜单分为“纯模型(无工具)”和“带工具代理”两类。先看无工具模式:截至2024年中,Anthropic的Claude 3.5 Sonnet略胜一筹,平均得分约22.4%,GPT-4o紧随其后21.8%,再次证明两者旗鼓相当klu.ai。然而OpenAI的新模型o3引入模拟思考和强化推理后,显著提升了GAIA表现:据报道,o3在GAIA中的某高难度子集(钻石级问题)取得了87.7%的成绩,远超o1的76.0%和竞争对手DeepSeek R1的71.5%analyticsvidhya.com。如果这一数据属实(可能是在带工具代理模式下),意味着OpenAI在GAIA上已实现跨越式领先。同时,OpenAI Deep Research代理也宣布在GAIA取得SOTA,这表明结合浏览器等工具,其综合得分已超越此前所有系统community.openai.com。总体看,在考验真实任务解决的GAIA上,OpenAI通过o3模型与代理策略,正重新定义最高标准。
- 数学基准(MATH / MGSM等):数学方面OpenAI的进展尤为突出。目前MATH榜单的第一名由OpenAI o1模型占据,准确率高达96.4%ainews.com。这一分数几乎达到了高中数学竞赛题的天花板水平,远超GPT-4发布时的53%siliconangle.com。先前的冠军是GPT-4o(76.6%)reddit.com,以及Anthropic的Claude 3.5(Sonnet约71.1%)helicone.ai。o1将成绩提高了20多个百分点,展现了链式思维训练在数学推理上的巨大威力。更惊人的是,o1在更难的数学考试AIME中也拿下79.2%的高分(此前GPT-4o仅42%)ainews.com。此外,多语言数学基准MGSM上,GPT-4o约90%的成绩也属领先klu.ai。综合而言,OpenAI的新模型包揽了数学类Benchmark的前列,将竞争对手远远甩在身后,奠定了其在严谨推理领域的领先地位。
- 编程与代码:在代码生成Benchmark上,OpenAI模型同样名列前茅。经典的HumanEval排行榜中,GPT-4系列一直占据Top 1位置;GPT-4o将Pass@1成功率提高到90%+水平klu.ai。这比OpenAI GPT-4初版(约80-85%)更进一步,也超过了Anthropic Claude和Meta代码Llama等(通常在70-80%之间)。对于更复杂的代码挑战,如需要执行和调试的SWE-Bench、LiveCodeBench,OpenAI的o1模型也取得了大幅领先:o1通过自动调试使LiveCodeBench分数从52.3%跃升至76.6%,SWE-Bench验证通过率从41.3%提高到48.9%ainews.com。这些数据表明OpenAI模型不仅在静态代码编写上领先,在动态编码、调试等更贴近真实编程的任务上也开始超越以往模型。总体看,OpenAI的GPT-4o和o1在编程领域稳居排行榜前列,有力捍卫了其“AI编程助手”领先者地位。
- 视觉多模态:视觉理解Benchmark目前竞争激烈,但OpenAI模型正取得优势。在MMMU、MathVista、ChartQA等视觉推理任务上,GPT-4o发布时即宣称刷新多项记录,达到SOTAzeniteq.com。例如GPT-4o在MathVista和MMMU这类复杂视觉题的0-shot准确率领先Google Gemini等模型数个百分点reddit.com。OpenAI o1进一步强化视觉能力,据“12天创新”报告,o1在MMMU达到77.3%、MathVista 71.0%的新成绩ainews.com。相比之下,同期其他模型如Mistral的Pixtral-12B在MMMU仅52.5%mistral.ai,差距明显。文档问答(DocVQA)、科学图表(AI2D)等任务上,GPT-4o/o1系列也均有领先优势reddit.comreddit.com。这意味着在图像理解和推理方面,OpenAI模型已在Leaderboard上全面占先,巩固了多模态AI的领导地位。
- 语音与听觉:在语音相关Benchmark上,OpenAI多模态模型实现了从跟跑到领跑的转变。语音识别方面,GPT-4o的引入使其在MLS多语种语音转写测试中全面超越了此前业界最优的Whisper v3模型scribbledata.io。Leaderboard数据表明,GPT-4o在多数语言区域的WER(字错率)均低于Whisper,尤其在一些Whisper表现不佳的语言上取得突破labellerr.com。在语音翻译CoVoST-2上,GPT-4o以BLEU≈42的成绩排名第一,远高于Meta和Google提出的专用模型(约35)klu.ai。这两项指标显示,OpenAI的通用模型如今统治了语音领域榜单:既是最好的听写员,又是顶尖的同声传译。在实际应用中,这预示着一个模型即可胜任语音助手的识别和翻译双重任务,领先优势非常明显。
综上所述,OpenAI过去一年推出的新模型在各大Benchmark的榜单上表现卓越,大多名列前三甚至刷新纪录。在通用知识、数学和编程等核心能力上,OpenAI模型与Anthropic等并驾齐驱甚至稍占上风;而在多模态、语音以及需要深度推理的领域,OpenAI通过GPT-4o、o1、o3一系列创新,建立了明显的领先优势
。这些Benchmark成绩反映出OpenAI模型能力的全面提升——从语言到视觉、从推理到工具使用——为通向更通用、更强大的AI奠定了基础。各Benchmark排行榜也验证了OpenAI在这一年中取得的进步:他们的模型不断刷新AI性能的最高水位openai.comzeniteq.com,巩固了其在AI领域的领先地位。