La RWKV Open Source Foundation ha lanzado el modelo RWKV-6-World14B, que actualmente es uno de los modelos de lenguaje grande RNN puro y denso más potentes del mundo. El modelo destaca por sus capacidades multilingües, admite más de 100 idiomas y códigos, y supera a modelos como Llama2 13B y Qwen 1.5 14B en múltiples pruebas comparativas. Su excelente rendimiento surge de la mejora de la arquitectura RWKV y evita la optimización para pruebas comparativas específicas durante el proceso de capacitación, asegurando las verdaderas capacidades y capacidades de generalización del modelo. Los usuarios pueden descargar e implementar fácilmente el modelo a través de plataformas como Hugging Face, ModelScope y WiseModel.
El 19 de julio de 2024, la RWKV Open Source Foundation anunció el código abierto global del modelo RWKV-6-World14B, que actualmente es el modelo de lenguaje grande RNN puro y denso más fuerte. El modelo tuvo un buen desempeño en la última prueba de rendimiento, con un rendimiento en inglés equivalente a Llama213B y significativamente por delante en rendimiento multilingüe, admitiendo más de 100 idiomas y códigos en todo el mundo.
La prueba comparativa del modelo incluye 4 modelos de lenguaje grande de código abierto con una escala de casi 14B de parámetros, 12 pruebas comparativas independientes para evaluar el rendimiento en inglés y cuatro pruebas comparativas de xLAMBDA, xStoryCloze, xWinograd y xCopa para evaluar capacidades multilingües. RWKV-6-World14B tuvo un buen desempeño en estas pruebas, especialmente en la lista de clasificación de Uncheatable Eval, donde el puntaje de evaluación integral superó a llama213B y Qwen1.514B.
La mejora del rendimiento del modelo RWKV-6-World14B se beneficia de las mejoras arquitectónicas del RWKV-4 al RWKV-6. Este modelo no agregó ningún conjunto de datos de prueba de referencia durante el entrenamiento, evitando una optimización especial, por lo que su capacidad real es más fuerte que la clasificación de puntuación. En la evaluación Uncheatable Eval, RWKV-6-World14B se evaluó con datos en tiempo real, como los últimos artículos de arXiv, noticias, novelas de ao3 y códigos de GitHub publicados en julio, lo que muestra sus capacidades reales de modelado y generalización.
Actualmente, el modelo RWKV-6-World14B se puede descargar e implementar localmente a través de plataformas como Hugging Face, ModelScope y WiseModel. Dado que Ai00 solo admite modelos en formato safetensor (.st), también puede descargar modelos que se hayan convertido al formato .st en el almacén de Ai00HF. Los requisitos de memoria de gráficos para implementar e inferir localmente el modelo RWKV-6-World14B varían de aproximadamente 10G a 28G, según el método de cuantificación.
La vista previa del efecto del modelo RWKV-6-World14B incluye procesamiento del lenguaje natural (análisis de sentimientos, comprensión de lectura automática), poesía en prosa y creación literaria, lectura y modificación de códigos, sugerencias de selección de temas de artículos financieros, extracción de contenido clave de noticias, una frase. expansión de texto y escritura de múltiples escenarios de aplicaciones, como el juego Python Snake.
Cabe señalar que todos los modelos RWKV lanzados de código abierto son modelos básicos, que tienen ciertas capacidades de comando y diálogo, pero no han sido optimizados para tareas específicas. Si desea que el modelo RWKV funcione bien en una tarea específica, se recomienda utilizar conjuntos de datos de tareas relacionadas para perfeccionar el entrenamiento.
Dirección del proyecto:
Cara de abrazo: https://huggingface.co/BlinkDL/rwkv-6-world/tree/main
ModelScope: https://modelscope.cn/models/RWKV/rwkv-6-world/files
WiseModel: https://wisemodel.cn/models/rwkv4fun/Rwkv-6-world/file
En resumen, el código abierto del modelo RWKV-6-World14B ha traído nuevos avances al campo de los modelos de lenguajes grandes. Vale la pena esperar su poderoso rendimiento y sus amplias perspectivas de aplicación. Los desarrolladores pueden descargar y realizar más exploraciones y aplicaciones en varias plataformas según sus propias necesidades.