Yuanshi Intelligence (RWKV) se basó en su disruptiva arquitectura de IA generativa para recibir decenas de millones de yuanes en financiación de ronda ángel en diciembre de 2023, duplicando su valoración. Esta ronda de financiación fue liderada por Skyrim Capital y los fondos se utilizarán principalmente para la formación de equipos, la investigación y el desarrollo de tecnología y la comercialización de productos. Como un intento innovador de la arquitectura Transformer tradicional, la arquitectura RWKV tiene como objetivo resolver las deficiencias en eficiencia y precisión de los grandes modelos de lenguaje existentes y se compromete a abrir nuevas posibilidades en el campo de la IA.
En el contexto de la ola generativa global de IA en 2022, Yuanshi Intelligence (RWKV) completó decenas de millones de yuanes en financiación de rondas ángeles en diciembre de 2023, invertidas por Skyrim Capital. Después de esta financiación, la valoración de la empresa se ha duplicado y los fondos se utilizarán para la ampliación del equipo, la investigación y el desarrollo de nuevas estructuras y la comercialización de productos.
La aparición de RWKV es un poderoso desafío para la arquitectura tradicional de Transformer. Con el desarrollo de grandes modelos de lenguaje (LLM), aunque la escala de parámetros del modelo es cada vez mayor, sus deficiencias en cuestiones como la ilusión y la precisión siempre son difíciles de resolver. Por lo tanto, el equipo fundador de RWKV decidió explorar una arquitectura completamente nueva para lograr una mayor eficiencia y flexibilidad.
El concepto de diseño de RWKV es completamente diferente al de Transformer. El cofundador Luo Xuan dijo que el modelo Transformer tradicional necesita volver a leer el texto anterior cada vez que genera un Token, mientras que RWKV no necesita registrar el estado de cada Token, lo que reduce significativamente la cantidad de cálculo. RWKV logra avances en eficiencia y capacidades de modelado de lenguaje al combinar las ventajas de RNN (red neuronal recurrente).
La ventaja de esta arquitectura innovadora es que RWKV puede procesar información en un espacio de estado limitado. Mediante métodos de aprendizaje por refuerzo, el modelo puede determinar automáticamente cuándo necesita revisar el texto anterior, mejorando así su capacidad de memoria. En comparación con los modelos tradicionales, RWKV tiene un rendimiento superior en múltiples pruebas comparativas, lo que demuestra su mejora en la eficiencia del aprendizaje de idiomas.
Actualmente, RWKV ha completado la capacitación del modelo de 0.1B a 14B y ha lanzado un modelo preliminar de 32B en comunidades en el extranjero. En el futuro, Yuanshi Intelligence planea lanzar RWKV-7 con parámetros de 70B y superiores en 2025, y explorar nuevos marcos de inferencia y chips para mejorar aún más el rendimiento del modelo.
En términos de negocios, RWKV no solo proporciona proyectos de código abierto, sino que también lleva a cabo activamente diseños comerciales, lo que implica la generación de música con IA y la cooperación con muchas empresas, como State Grid. Con el desarrollo de la tecnología y el avance de la comercialización, RWKV se esfuerza por convertirse en "Android y Linux" en el campo de los modelos grandes.
La arquitectura innovadora y el diseño comercial de RWKV han demostrado un gran potencial en el campo altamente competitivo de los modelos grandes, y vale la pena esperar su desarrollo futuro. Su objetivo de convertirse en "Android y Linux" en el campo de los modelos grandes también refleja sus elevadas ambiciones. Creo que a medida que la tecnología siga madurando y el modelo de negocio mejore, RWKV logrará mayores logros en el campo de la IA.