Anthropic ha anunciado un ambicioso plan para financiar el desarrollo de nuevos modelos de referencia de IA. El programa tiene como objetivo mejorar la evaluación del rendimiento y el impacto del modelo de IA, prestando especial atención a aspectos importantes como la seguridad de la IA y el impacto social. La medida tiene como objetivo abordar las deficiencias de los puntos de referencia existentes, como su incapacidad para capturar de manera efectiva escenarios de aplicaciones del mundo real y su incapacidad para medir con precisión lo que dicen medir. Anthropic exige el desarrollo de pruebas de referencia más desafiantes para evaluar las capacidades de los modelos de IA en ciberataques, mejoras de armas, manipulación de información, etc., y para explorar el potencial de la IA en la investigación científica, la comunicación multilingüe y otros campos. Esto ayudará a proporcionar una comprensión más completa de las capacidades y riesgos de la IA y promoverá el desarrollo del campo de la seguridad de la IA.
Anthropic proporcionará apoyo financiero a organizaciones de terceros para animarlas a desarrollar métodos de evaluación más eficaces. Este programa refleja el compromiso de Anthropic de mejorar el campo general de la seguridad de la IA y promover una evaluación integral de la IA como estándar de la industria. Sin embargo, dados los propios intereses comerciales de Anthropic, aún es necesario considerar más a fondo la objetividad y equidad de su plan. En el futuro, el éxito del programa dependerá de la inversión de fondos y personas, así como del grado de cooperación con otras organizaciones relevantes.