Downcodes小编带你了解OpenAI最新研究成果：MLE-bench基准测试！这项研究旨在评估AI智能体在机器学习工程领域的实际能力。研究团队选择了75个Kaggle机器学习竞赛作为测试场景，涵盖模型训练、数据准备和实验运行等多个方面，并以Kaggle公开排行榜数据作为人类基准进行对比。通过测试多种前沿语言模型，研究团队获得了宝贵的经验，并开源了基准测试代码，为后续研究提供了便利。
在近期的一项研究中，OpenAI研究团队推出了名为 MLE-bench 的全新基准测试，旨在评估AI智能体在机器学习工程方面的表现。
这项研究特别关注75个来自 Kaggle 的机器学习工程相关竞赛，旨在测试代理在现实世界中所需的多种技能，包括模型训练、数据集准备和实验运行等。
为了更好地进行评估，研究团队使用了 Kaggle 公开排行榜的基础数据，确立了每个竞赛的人类基准。在实验中，他们利用开源的智能体架构，对几种前沿语言模型进行了测试。结果显示，最佳表现的配置 ——OpenAI 的 o1-preview 与 AIDE 架构结合使用 —— 在16.9% 的竞赛中，达到了 Kaggle 铜牌的水平。
不仅如此，研究团队还对 AI 智能体的资源扩展形式进行了深入探讨，并研究了预训练对结果的污染影响。他们强调，这些研究结果为今后进一步理解 AI 智能体在机器学习工程方面的能力提供了基础。为了促进未来的研究，团队还将基准测试的代码进行了开源，供其他研究人员使用。
这项研究的推出，标志着机器学习领域的一次重要进展，特别是在如何评估和提升 AI 智能体的工程能力方面。科学家们希望，通过 MLE-bench，可以为 AI 技术的发展提供更科学的评估标准和实践依据。
项目入口:https://openai.com/index/mle-bench/
划重点:
MLE-bench 是一个新的基准测试，旨在评估 AI 代理的机器学习工程能力。
研究涵盖75个 Kaggle 竞赛，测试智能体的模型训练和数据处理能力。
? OpenAI 的 o1-preview 与 AIDE 架构组合在16.9% 的竞赛中达到了 Kaggle 铜牌水平。
MLE-bench 基准测试的开源，为AI智能体在机器学习工程领域的评估提供了新的标准，也为推动AI技术发展贡献了力量。 Downcodes小编期待未来更多基于MLE-bench的研究成果！