OpenAI挑战AI评测基准SWE-Bench Pro：约30%存在评测缺陷

IT之家 7月9日讯OpenAI于7月8日发布官方博客文章，挑战对行业权威AI编程评测基准 SWE-Bench Pro提出严厉质疑。评测OpenAI指出，基准在其分析的存评测缺731个公开测试任务中，约有30%的挑战任务存在评测缺陷，导致结果失真。评测

IT之家注：SWE-Bench Pro 由 Scale AI 推出，基准旨在评估大语言模型及AI智能体的存评测缺编程能力。因其高度模拟企业级开发场景且具备严格的挑战防作弊机制，该基准已被视为AI软件工程领域的评测行业标准。

模型通过率飙升，基准基准有效性受疑

OpenAI在博文中强调，存评测缺数据显示在8个月的挑战时间跨度内，前沿AI模型在SWE-Bench Pro上的评测通过率从 23.3%激增至 80.3%。OpenAI认为，基准这种非理性的增长表明该基准已无法真实、有效地衡量模型的软件开发能力，可能存在严重的“数据泄露”或评测漏洞。

数据与人工双重审查：30%任务失效

为了验证这一观点，OpenAI采用了两种独立的审查路径：

1. 自动化数据点分析：标记出 200个失效任务，占总任务数（731个）的 27.4%。
2. 人工标注审查：识别出 249个失效任务，占比高达 34.1%。

综合上述两条路径，OpenAI估算 SWE-Bench Pro 中约 30%的任务存在实质性缺陷。

四大类评测缺陷详解

OpenAI将发现的问题归纳为以下四类主要缺陷：

• 测试标准过严：将题目描述中未明确指出的实现方式，强行列为硬性通过条件。
• 提示不充分：隐藏了测试执行的具体要求，且这些要求无法通过题目逻辑合理推断。
• 测试范围过窄：即使代码修复不完整，模型仍可能通过测试，导致评分虚高。
• 提示具有误导性：题目指令指向的行为与底层测试要求不一致，导致模型“按章办事”却被判错。

典型案例：
OpenAI披露了一个具体案例：题目要求将内容转换为 Markdown 格式时，行首需添加 1个空格。然而，隐藏的测试用例却要求行首必须有 2个空格。这导致模型严格按照题目说明编写代码，最终仍被判定为错误。

结论：建议撤回采用，重新设计基准

基于此次深度分析，OpenAI正式撤回了此前对 SWE-Bench Pro 的采用建议。OpenAI强调，未来的AI编程评测基准必须由资深软件开发者专门设计，以确保测试场景的真实性、公平性及有效性，避免当前基准中存在的系统性偏差。

(责任编辑：综合)