Yuanshi Intelligence (RWKV) s'est appuyée sur son architecture d'IA générative disruptive pour recevoir des dizaines de millions de yuans de financement providentiel en décembre 2023, doublant ainsi sa valorisation. Cette ronde de financement a été dirigée par Skyrim Capital, et les fonds seront principalement utilisés pour la constitution d'équipes, la recherche et le développement technologique et la commercialisation de produits. En tant que tentative innovante de l'architecture Transformer traditionnelle, l'architecture RWKV vise à résoudre les manques d'efficacité et de précision des grands modèles de langage existants et s'engage à ouvrir de nouvelles possibilités dans le domaine de l'IA.
Dans le contexte de la vague mondiale d'IA générative en 2022, Yuanshi Intelligence (RWKV) a réalisé un financement providentiel de plusieurs dizaines de millions de yuans en décembre 2023, investi par Skyrim Capital. Après ce financement, la valorisation de l'entreprise a doublé et les fonds seront utilisés pour l'agrandissement de l'équipe, la recherche et le développement de nouvelles structures et la commercialisation de produits.
L’émergence de RWKV constitue un défi puissant pour l’architecture Transformer traditionnelle. Avec le développement des grands modèles de langage (LLM), bien que l'échelle des paramètres du modèle devienne de plus en plus grande, ses lacunes dans des domaines tels que l'illusion et la précision sont toujours difficiles à résoudre. C'est pourquoi l'équipe fondatrice de RWKV a décidé d'explorer une toute nouvelle architecture afin d'obtenir une plus grande efficacité et flexibilité.
Le concept de conception du RWKV est complètement différent de celui du Transformer. Le co-fondateur Luo Xuan a déclaré que le modèle Transformer traditionnel doit relire le texte précédent à chaque fois qu'il génère un jeton, tandis que RWKV n'a pas besoin d'enregistrer l'état de chaque jeton, réduisant ainsi considérablement la quantité de calcul. RWKV réalise des percées en termes d'efficacité et de capacités de modélisation du langage en combinant les avantages du RNN (Recurrent Neural Network).
L'avantage de cette architecture innovante est que RWKV peut traiter les informations dans un espace d'état limité. Grâce à des méthodes d'apprentissage par renforcement, le modèle peut déterminer automatiquement quand il doit réviser le texte précédent, améliorant ainsi sa capacité de mémoire. Par rapport aux modèles traditionnels, RWKV obtient de meilleurs résultats dans plusieurs tests de référence, prouvant son amélioration de l'efficacité de l'apprentissage des langues.
Actuellement, RWKV a terminé la formation du modèle de 0,1B à 14B et a publié un modèle préliminaire 32B dans les communautés d'outre-mer. À l'avenir, Yuanshi Intelligence prévoit de lancer RWKV-7 avec des paramètres de 70B et plus en 2025, et d'explorer de nouveaux cadres et puces d'inférence pour améliorer encore les performances du modèle.
En termes commerciaux, RWKV propose non seulement des projets open source, mais réalise également activement des mises en page commerciales, impliquant la génération de musique IA et la coopération avec des entreprises. Elle a conclu une coopération avec de nombreuses entreprises telles que State Grid. Avec le développement de la technologie et l'avancement de la commercialisation, RWKV s'efforce de devenir « Android et Linux » dans le domaine des grands modèles.
L'architecture innovante et l'agencement commercial du RWKV ont montré un fort potentiel dans le domaine hautement compétitif des grands modèles, et son développement futur mérite d'être attendu avec impatience. Son ambition de devenir « Android et Linux » dans le domaine des grands modèles reflète également ses hautes ambitions. Je crois qu'à mesure que la technologie continue de mûrir et que le modèle commercial s'améliore, RWKV obtiendra de plus grandes réalisations dans le domaine de l'IA.