Downcodes小编获悉，OpenAI于8月13日发布了SWE-bench Verified代码生成评估基准，旨在更准确地评估AI模型在软件工程领域的性能。此举旨在改进原有SWE-bench基准的不足，提升评估的可靠性和准确性，为AI模型在软件开发中的应用提供更有效的评估工具。新基准引入了容器化Docker环境，解决了原基准中单元测试过于严格、问题描述不清以及开发环境难以设置等问题。
OpenAI于8月13日宣布推出SWE-bench Verified代码生成评估基准，旨在更准确评估人工智能模型在软件工程任务中的表现。这一新基准解决了此前SWE-bench存在的多项局限性。
SWE-bench是一个基于GitHub真实软件问题的评估数据集，包含来自12个流行Python仓库的2294个Issue-Pull Request对。然而，原版SWE-bench存在三个主要问题:单元测试过于严格，可能拒绝正确解决方案;问题描述不够明确;开发环境难以可靠设置。
为解决这些问题，SWE-bench Verified引入了容器化Docker环境的新评估工具包，使评估过程更加一致和可靠。这一改进显著提升了AI模型的表现评分。例如，GPT-4o在新基准下解决了33.2%的样本，而表现最佳的开源代理框架Agentless的得分也翻倍至16%。
这一性能提升表明，SWE-bench Verified能更好地捕捉AI模型在软件工程任务中的真实能力。通过解决原有基准的局限性，OpenAI为AI在软件开发领域的应用提供了更精确的评估工具，有望推动相关技术的进一步发展和应用。
随着AI技术在软件工程中的应用日益广泛，像SWE-bench Verified这样的评估基准将在衡量和推动AI模型能力提升方面发挥重要作用。
地址：https://openai.com/index/introducing-swe-bench-verified/
SWE-bench Verified的推出标志着AI模型评估迈向更精准、更可靠的阶段，将有助于推动AI在软件工程领域的创新和发展。Downcodes小编相信，未来会有更多类似的评估基准出现，进一步促进AI技术的进步。