A Yuanshi Intelligence (RWKV) confiou em sua arquitetura disruptiva de IA generativa para receber dezenas de milhões de yuans em financiamento da rodada anjo em dezembro de 2023, dobrando sua avaliação. Esta rodada de financiamento foi liderada pela Skyrim Capital, e os fundos serão usados principalmente para formação de equipes, pesquisa e desenvolvimento de tecnologia e comercialização de produtos. Como uma tentativa inovadora da arquitetura tradicional do Transformer, a arquitetura RWKV visa resolver as deficiências de eficiência e precisão dos grandes modelos de linguagem existentes e está empenhada em abrir novas possibilidades no campo da IA.
No contexto da onda global de IA generativa em 2022, a Yuanshi Intelligence (RWKV) completou dezenas de milhões de yuans em financiamento de rodada anjo em dezembro de 2023, investidos pela Skyrim Capital. Após esse financiamento, a valorização da empresa dobrou e os recursos serão utilizados para expansão da equipe, pesquisa e desenvolvimento de novas estruturas e comercialização de produtos.
O surgimento do RWKV é um desafio poderoso para a arquitetura tradicional do Transformer. Com o desenvolvimento de grandes modelos de linguagem (LLM), embora a escala de parâmetros do modelo esteja se tornando cada vez maior, suas deficiências em questões como ilusão e precisão são sempre difíceis de resolver. Portanto, a equipe fundadora da RWKV decidiu explorar uma arquitetura completamente nova para alcançar maior eficiência e flexibilidade.
O conceito de design do RWKV é completamente diferente do Transformer. O cofundador Luo Xuan disse que o modelo tradicional do Transformer precisa reler o texto anterior toda vez que gera um Token, enquanto o RWKV não precisa registrar o status de cada Token, reduzindo significativamente a quantidade de cálculo. RWKV alcança avanços em eficiência e capacidades de modelagem de linguagem combinando as vantagens da RNN (Rede Neural Recorrente).
A vantagem desta arquitetura inovadora é que o RWKV pode processar informações em um espaço de estados limitado. Através de métodos de aprendizagem por reforço, o modelo pode determinar automaticamente quando precisa revisar o texto anterior, melhorando assim sua capacidade de memória. Comparado com os modelos tradicionais, o RWKV tem um desempenho superior em vários testes de benchmark, comprovando a sua melhoria na eficiência da aprendizagem de línguas.
Atualmente, a RWKV concluiu o treinamento do modelo de 0,1B a 14B e lançou um modelo de visualização de 32B em comunidades no exterior. No futuro, a Yuanshi Intelligence planeja lançar o RWKV-7 com parâmetros de 70B e superiores em 2025 e explorar novas estruturas e chips de inferência para melhorar ainda mais o desempenho do modelo.
Em termos de negócios, a RWKV não apenas fornece projetos de código aberto, mas também realiza ativamente layouts comerciais, envolvendo geração de música de IA e cooperação com empresas. Alcançou a cooperação com muitas empresas, como a State Grid. Com o desenvolvimento da tecnologia e o avanço da comercialização, a RWKV se esforça para se tornar o “Android e Linux” na área de modelos de grande porte.
A arquitetura inovadora e o layout comercial do RWKV mostraram um forte potencial no campo altamente competitivo de grandes modelos, e vale a pena esperar pelo seu desenvolvimento futuro. Seu objetivo de se tornar “Android e Linux” no campo de modelos de grande porte também reflete suas ambições elevadas. Acredito que à medida que a tecnologia continua a amadurecer e o modelo de negócios melhora, a RWKV alcançará maiores conquistas no campo da IA.