GPT-5编程成绩有猫腻！自删23道测试题，关键基准还是自己提的
GPT-5编程成绩有猫腻！自删23道测试题，关键基准还是自己提的别急着用GPT-5编程了，可能它能力没有你想象中那么强。 有人发现，官方测试编程能力用的SWE-bench Verified，但货不对板，只用了477个问题。
来自主题: AI资讯
6273 点击 2025-08-12 17:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
别急着用GPT-5编程了，可能它能力没有你想象中那么强。 有人发现，官方测试编程能力用的SWE-bench Verified，但货不对板，只用了477个问题。
当前，大型语言模型（LLM）在软件工程领域的应用日新月异，尤其是在自动修复 Bug 方面，以 SWE-bench 为代表的基准测试展示了 AI 惊人的潜力。然而，软件开发远不止于修 Bug，功能开发与迭代才是日常工作的重头戏。
AI学会像人一样修Bug了！“这个Bug我上周刚修过”“这个报错怎么又来了”“新人怎么又在同一个地方踩坑”……
近日，一项由北京大学、字节跳动 Seed 团队及香港大学联合进行的研究，提出了一种名为「SWE-Swiss」的完整「配方」，旨在高效训练用于解决软件工程问题的 AI 模型。研究团队推出的 32B 参数模型 SWE-Swiss-32B，在权威基准 SWE-bench Verified 上取得了 60.2% 的准确率，在同尺寸级别中达到了新的 SOTA。
只用100行代码，打造最强轻量编程agent。 SWE-bench、SWE-agent原班人马再出手，推出全新开源项目—— mini-SWE-agent。
新晋AI编程冠军DeepSWE来了！仅通过纯强化学习拿下基准测试59%的准确率，凭啥？7大算法细节首次全公开。
Agentless+开源模型，也能高质量完成仓库级代码修复任务，效果媲美业界 SOTA 。
长期以来主流的代码修复评测基准SWE-bench面临数据过时、覆盖面窄、手动维护成本高等问题，严重制约了AI模型真实能力的展现。
昨天深夜，月之暗面发布了开源代码模型Kimi-Dev-72B。这个模型在软件工程任务基准测试SWE-bench Verified上取得了60.4%的成绩，创下开源模型新纪录，超越了包括DeepSeek在内的多个竞争对手。
深夜，沉寂已久的Kimi突然发布了新模型—— 开源代码模型Kimi-Dev，在SWE-bench Verified上以60.4%的成绩取得开源SOTA。