El Instituto de Innovación Tecnológica de los Emiratos (TII) ha lanzado una nueva generación de la serie Falcon3 de modelos de lenguaje pequeño de código abierto, que incluye cuatro modelos de diferentes tamaños (1B, 3B, 7B y 10B) y ofrece dos variantes: versión básica y versión de instrucciones. Este lanzamiento tiene como objetivo reducir el umbral para el uso de la tecnología de IA y proporcionar a los desarrolladores, investigadores y empresas soluciones de IA eficientes y económicas. Falcon3 obtuvo buenos resultados en las clasificaciones de Hugging Face, superando a los modelos de código abierto del mismo tamaño y superando a productos de gigantes como Google, Meta y Alibaba en múltiples pruebas comparativas, lo que refleja su velocidad de inferencia, comprensión del lenguaje y ejecución de instrucciones en otros. aspectos.
Nota sobre la fuente de la imagen: la imagen es generada por AI y el proveedor de servicios de autorización de imágenes Midjourney
El rendimiento del Falcon 3 ha encabezado la clasificación de Hugging Face, superando a los modelos de código abierto del mismo tamaño, como Meta's Llama y Qwen-2.5. En particular, las versiones 7B y 10B han demostrado ventajas técnicas líderes en velocidad de razonamiento, comprensión del lenguaje, ejecución de instrucciones y tareas de código y matemáticas, e incluso han superado a competidores como Google, Meta y Alibaba en múltiples pruebas comparativas.
En comparación con los modelos tradicionales de lenguaje grande (LLM), los modelos SLM tienen las ventajas de alta eficiencia y bajo costo debido a su menor número de parámetros y diseño más simple, y son especialmente adecuados para aplicaciones en servicio al cliente, atención médica, Internet de las cosas y otros campos. Se espera que el mercado SLM crezca a una tasa anual promedio del 18% durante los próximos cinco años, según la firma de investigación de mercado Values Reports.
La escala de datos de entrenamiento de la serie Falcon3 alcanza los 14 billones de tokens, más del doble que su predecesor Falcon2. La serie adopta una arquitectura de solo decodificador y un mecanismo de atención de consultas agrupadas para minimizar el uso de memoria y al mismo tiempo mejorar la eficiencia de la inferencia. Falcon3 admite cuatro idiomas, incluidos inglés, francés, español y portugués, y está equipado con una ventana contextual de 32K, que puede manejar texto de entrada largo y satisfacer las necesidades de diversas industrias.
TII dijo que el modelo base de Falcon3 es adecuado para tareas de propósito general, mientras que la versión de comando está optimizada para tareas conversacionales como servicio al cliente y asistentes virtuales. El lanzamiento de esta serie promoverá aún más el desarrollo de aplicaciones sensibles a la privacidad y de computación de punta, respaldando escenarios como recomendaciones personalizadas, análisis de datos, diagnóstico médico y optimización de la cadena de suministro.
Todos los modelos Falcon3 se lanzan bajo la licencia TII Falcon 2.0, una licencia permisiva basada en Apache 2.0 que admite el desarrollo y la implementación responsable de la IA. Para ayudar a los desarrolladores e investigadores a comenzar, TII también lanzó el entorno de prueba Falcon Playground, donde los usuarios pueden probar estos modelos antes de integrarlos.
Las características de código abierto y el rendimiento eficiente de la serie Falcon3 la convierten en una opción ideal para aplicaciones de IA livianas. Se espera que acelere la popularización y aplicación de la tecnología de IA en diversos campos y promueva una mayor democratización de la tecnología de IA. Su excelente rendimiento, superando a los competidores en múltiples pruebas comparativas, también indica que los modelos de lenguajes pequeños tienen un gran potencial para el desarrollo futuro.