SWE-bench 档案:那张刷了两年的编程榜,2026 年发生了一次地震
买编程模型之前看榜单,看的是 SWE-bench——两年来它几乎就是代码能力的北极星,模型发布会、采购对比、参数表里全是它。2026 年这条榜单经历了地震:OpenAI 官宣停用自己参与维护的主榜 Verified,理由是数据污染和测试失准。这篇把这张榜的机制、功绩、塌陷原因和看榜姿势一次讲清,基于多篇报道、论文与官方信息整理成档。
定位
普林斯顿团队出品的编程基准,问题很直接:语言模型能不能解决真实世界的 GitHub issue?每个任务是一对真实的 Issue 和修复提交,模型读 bug 报告、理解整个代码库、产出补丁,以单元测试判定成败——修复的测试要从挂变成过,原本正常的测试不能被改坏。这套机制在当年是革命性的:此前编程评测多是算法小题,SWE-bench 第一次考「开发者真活」。截至 2026年9月,GitHub 5.8k 星,MIT 协议,官方榜单分 Verified、Multimodal、Multilingual、Lite、Full 五张。
AI 编程知识库会员专享内容
开通后解锁「SWE-bench 档案:那张刷了两年的编程榜,2026 年发生了一次地震」全文,AI 编程知识库全年访问
扫码添加企业微信,找大熊掌门开通会员

添加后说明想开通的会员类型即可