自家大模型被友商超越 OpenAI直指AI跑分有猫腻：此前建议大家都用

麦享科技7月9日消息，马斯克旗下的xAI今天发了Grok 4.5大模型，在编程能力上进步很大，AI基准测试中比GPT-5.5还高，结果OpenAI不乐意了，表示这个项目有问题，撤回之前对它的推荐。

这个测试项目是SWE-Bench Pro，在Grok 4.5的发布新闻中，其跑分达到了64.7%，比GPT-5.5的58.6还要高不少。

然而OpenAI突然就不乐意了，公开发文表示他们审核了这个AI编程能力测试项目，认为它已经不能可靠地衡量前沿大模型的编程能力了。

原因是测试项目中有30%的任务有缺陷，有部分任务存在扭曲结果的可能，一些正确的解决方案会因为隐藏要求、相互矛盾的指令、过于严格的测试或不完整的评分标准而失败。

OpenAI还提到他们找了五位资深的工程师做了评审，根据他们的结果他们撤回了此前建议研究者和社区将SWE-Bench Pro作为首要的编程评测基准的推荐。

看到这里大家应该明白了，SWE-Bench Pro评测项目之前是OpenAI力推的AI编程基准测试，那个时候霸占榜单的主要是自家的GPT大模型。

现在是多个大模型都在这个测试中超越了GPT的大模型，有些差距还挺大的，OpenAI显然不乐见这种情况，对SWE-Bench Pro的态度也直接180度大反转，表示测试有猫腻，不再推荐作为标准了。

在外界看来，这种自己占优势的时候就说跑分公平，自己不占优势的时候就掀桌子称跑分有猫腻的做法无疑是赤裸裸的双标，更何况还是OpenAI自己一手把这个项目吹成AI编程基准的，结果现在脸面不要了也要推翻。