El Instituto Allen de Inteligencia Artificial colaboró con varias universidades para lanzar conjuntamente el primer modelo de lenguaje a gran escala de código abierto del mundo, OLMo. Esto marca un hito importante en el campo de la inteligencia artificial y promoverá el desarrollo de tecnología de modelos grandes que sea más transparente y abierta. OLMo incluye pesos de modelo, código, conjuntos de datos y un proceso de entrenamiento completo. Su versión de parámetros 7B funciona bien en múltiples tareas. Además, el equipo de investigación también reveló el conjunto de datos previo al entrenamiento Dolma y proporcionó herramientas de análisis y recopilación de datos para maximizar la transparencia de los datos, lo que tiene una importancia de gran alcance para promover la investigación y la aplicación de grandes modelos lingüísticos en el mundo académico y la industria.
El Instituto Allen de Inteligencia Artificial y varias universidades lanzaron el primer modelo grande OLMo 100% de código abierto del mundo, que incluye pesos, códigos, conjuntos de datos y todo el proceso de capacitación. La evaluación del desempeño muestra que OLMo-7B es ligeramente superior en muchas tareas. Al mismo tiempo, los investigadores han divulgado el conjunto de datos de preentrenamiento Dolma para promover la investigación abierta en el campo del preentrenamiento de modelos lingüísticos. En términos de transparencia de datos, se proporcionan herramientas de recopilación y análisis de datos.
El lanzamiento de código abierto de OLMo no solo reduce el umbral para la investigación de modelos a gran escala, sino que también aporta recursos valiosos a la comunidad global de inteligencia artificial, presagiando la llegada de un ecosistema de inteligencia artificial más abierto y colaborativo. En el futuro, se espera que veamos surgir más aplicaciones innovadoras y resultados de investigación basados en OLMo.