> ## Documentation Index
> Fetch the complete documentation index at: https://opencompass-docs-preview-pr-335-0.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# SWE-Bench Pro Verified

这篇论文研究软件工程 agent 评测的可靠性，并提出经过验证与修正的 SWE-Bench Pro 版本。

| 字段 | 内容 |
| - | - |
| 论文 | [SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents](https://arxiv.org/abs/2609.08149) |
| 首次提交 | 2026-09-08 |
| 主题 | 软件工程、评测可靠性、奖励投机 |

## 研究概述

论文指出两类影响评测结果的问题：agent 可能获取泄漏的参考解或隐藏评测信息；部分任务的描述存在误导，测试范围也可能不合理。SWE-Bench Pro Verified 结合信息泄漏防护与任务修正，针对性地修改任务描述和测试。论文通过评测与轨迹分析，研究这些改动如何影响得分。

## 与 AgentCompass 的关系

论文在 AgentCompass 中发布代码。你可以通过 `swebench_pro_verified` 集成运行该 Benchmark；[使用文档](/zh/user_guide/modules/benchmarks/swebench_pro_verified)介绍了防护措施、支持的 Environment、参数与评测输出。

## 相关资源

* [arXiv 论文与引用导出](https://arxiv.org/abs/2609.08149)
* [AgentCompass 代码](https://github.com/open-compass/AgentCompass)
* [验证后的数据集](https://huggingface.co/datasets/opencompass/SWEBench-Pro-Verified)
* [SWE-Bench Pro Verified 使用文档](/zh/user_guide/modules/benchmarks/swebench_pro_verified)

[返回 AgentCompass 研究论文](/zh/research/overview)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.