El proyecto LLM360 ha lanzado dos modelos de lenguaje grande de parámetros 7B, AMBER y CRYSTALCODER, como código abierto. Este movimiento resalta la importancia del LLM de código abierto en el campo de la inteligencia artificial. La iniciativa tiene como objetivo promover la transparencia de los modelos globales de lenguajes grandes de código abierto y promover su aplicación generalizada en la academia y la industria. También se demuestra el desempeño previo al entrenamiento del modelo AMBER en cuatro conjuntos de datos, lo que proporciona una base confiable para la evaluación de su desempeño. Esto ayudará a los investigadores a comprender y mejorar mejor la tecnología de modelos de lenguajes grandes de código abierto.
LLM360 planea ser completamente de código abierto y lanzar dos LLM de parámetros 7B, AMBER y CRYSTALCODER. El estudio enfatiza la importancia de los LLM de código abierto, demuestra el rendimiento previo a la capacitación del modelo AMBER en cuatro conjuntos de datos y promueve una iniciativa transparente para modelos globales de lenguajes grandes de código abierto.
La iniciativa de código abierto del programa LLM360 proporciona recursos valiosos a los investigadores de inteligencia artificial de todo el mundo y favorece la promoción del desarrollo y la aplicación de tecnología de modelos de lenguaje a gran escala. También refleja su compromiso de promover la cooperación abierta en el campo de la inteligencia artificial. Esperamos ver más aplicaciones innovadoras basadas en esto en el futuro.