Após a atualização da versão de setembro, a Guangcone Intelligence aprendeu com o círculo de amigos de Tang Jiayu, cofundador e CEO da Shengshu Technology, que o modelo grande do Vidu será atualizado novamente esta semana e a versão Vidu-1.5 será lançada em breve.
A direção de atualização desta versão ainda se concentra em estender a capacidade de generalização e a consistência de assuntos de grandes modelos. A versão anterior focava na consistência de um único assunto, enquanto a versão mais recente pode compreender e integrar vários conceitos, como personagens, objetos e ambientes, e seguir as instruções do usuário para gerar resultados de vídeo relevantes da fusão de vários assuntos em 30 segundos, levando o líder na criação de vídeo multiagente.
Além do Vidu, desde setembro deste ano, de acordo com estatísticas incompletas, as principais plataformas de geração de vídeo de IA, incluindo Jimeng AI da Bytedance, Kuaishou Keling AI, Runway, Zhipu Qingying, Aishi Technology PixVerse e pika, tiveram todas uma atualização de versão realizada.
Atualmente, no caminho da geração de vídeos de IA, grandes startups de modelos e grandes empresas de Internet entraram no jogo. Após lançamentos intensivos de produtos no estágio inicial, agora entrou no estágio de iteração de produtos e competição de atualização.
Através do conteúdo atualizado de cada versão, não é difícil descobrir que a direção geral da iteração das capacidades do grande modelo de geração de vídeo de IA ainda é a duração do vídeo gerado, a estabilidade e continuidade da imagem e a consistência do assunto antes e depois.
Mas, ao mesmo tempo, vários players começaram a "dividir-se" em aplicações funcionais reais, cada um com sua própria ênfase. Alguns players de pequeno e médio porte também começaram a encontrar seus próprios segmentos de mercado.
Por exemplo, a versão mais recente do Runway atualizou o Act-One, que pode reproduzir com precisão as expressões faciais de pessoas reais em personagens de IA, para permitir o controle da câmera 3D por IA. PixVerse lançou vários efeitos especiais de Halloween, efeitos especiais de veneno, etc.
Em relação a esta rodada de atualizações para várias plataformas de geração de vídeo de IA, Chen Kun, fundador da Xingxian Culture e produtor do IP de fantasia original de IA "Mountains and Seas Mirror", acredita: "A maior atualização deve ser a expressão migração de Act- Um, que fornece uma maneira melhor para o desempenho dos personagens. Possibilidades básicas." Quanto à consistência e estabilidade dos personagens, "há progresso, mas não há progresso intergeracional."
De acordo com Vicky, o criador do vídeo de IA, em comparação com o produto original no primeiro semestre do ano, a mais recente plataforma de vídeo de IA atualizada não apenas iterou os recursos do modelo subjacente, mas também atualizou suas funções, como head e tail costura, qualidade de imagem e suplementação de taxa de quadros, dublagem e outras funções, “a melhoria dessas funções é realmente mais abrangente do que no primeiro semestre do ano”.
Se o primeiro semestre de 2024 for uma corrida armamentista na pista de geração de vídeo de IA, o segundo semestre do ano será um ciclo de atualização de versão em pequenos passos.
Nesta fase, a competição entre Byte e Kuaishou ainda é acirrada. Os pequenos e médios fabricantes estão começando a encontrar seus próprios caminhos únicos, e algumas empresas estão se concentrando nos mercados externos, e também alcançaram o efeito de "florescer no mercado interno e perfumado". fora do muro".
Sem dúvida, a luta nesta fase pode parecer moderada, mas tem um impacto substancial no próprio posicionamento da plataforma e na direção do desenvolvimento futuro, bem como no subsequente crescimento sustentável de grupos e quantidade de utilizadores.
“Jimeng está um pouco atrasado.” Esta é uma avaliação objetiva feita pelos usuários da plataforma de geração de vídeo AI.
Como um dos primeiros lotes de plataformas de geração de vídeo de IA no ano passado e um produto da Byte, os efeitos de geração de vídeo do Dream AI foram criticados pelos usuários e estão sendo derrotados por jogadores como Runway e Pika.
Em junho deste ano, Kuaishou, concorrente direto da Byte na área de vídeos curtos, lançou oficialmente o modelo de grande geração de vídeos "Keling" em seu site oficial e rapidamente emergiu da indústria. Ao mesmo tempo, mais e mais plataformas de geração de vídeo de IA estão surgindo, e o caminho de geração de vídeo de IA está crescendo completamente.
Sob forte pressão competitiva, a Bytedance, como primeiro escalão de produtos domésticos de IA, compensou as deficiências da geração de vídeo, que se tornou uma prioridade máxima, e sua velocidade de recuperação está além da imaginação.
Em 24 de setembro, o 2024 Volcano Engine AI Innovation Tour foi realizado em Shenzhen. Chen Xinran, o ex-chefe da Douyin Art, apareceu como chefe de Jimeng AI e Cutting Market and Operations e anunciou que Jimeng AI foi conectado ao mais recente de Doubao. Modelo de geração de vídeo.
Ao mesmo tempo, a ByteDance lançou dois modelos de geração de vídeo, Seaweed e Pixeldance, da família de modelos Doubao, e convidou testes em pequena escala para criadores e clientes corporativos por meio de Jimeng AI e Huoshan Engine, respectivamente.
Em 8 de novembro, Dream AI, plataforma de conteúdo de IA de propriedade da ByteDance, anunciou que Seaweed, modelo de geração de vídeo desenvolvido pela ByteDance, está oficialmente aberto aos usuários da plataforma.
De acordo com ByteDance, o modelo de geração de vídeo beanbag Seaweed que está aberto para uso desta vez é a versão padrão deste modelo. Leva apenas 60 segundos para gerar um vídeo AI de alta qualidade de 5 segundos, ou seja, 3 a 5 minutos à frente. todos os padrões da indústria nacional Requer tempo de geração.
Jimeng AI também revelou que as versões Pro de dois modelos de geração de vídeo, Seaweed e Pixeldance, também estarão disponíveis para uso em um futuro próximo. O modelo da versão Pro pode realizar ações multi-shot naturais e coerentes e interações complexas com vários assuntos, e supera o problema de consistência da troca multi-shot. Ele pode manter a consistência do assunto, estilo e atmosfera ao trocar de lentes, e é. adequado para filmes, TV e computadores, telefones celulares e outros dispositivos.
ByteDouyin e Kuaishou, como líderes das plataformas nacionais de vídeos curtos, sua concorrência mudou do vídeo curto e do comércio eletrônico para o campo da IA. Falando objetivamente, Douyin está à frente de Kuaishou em todos os aspectos. Mas só na área de IA Kuaishou deu um belo contra-ataque.
Desde seu sucesso instantâneo em junho, Kuaishou Keling teve várias iterações de versões menores.
Mas em termos de capacidades subjacentes de grandes modelos, em 20 de setembro deste ano, Kuaishou lançou a versão 1.5 do Keling, que está conectada a uma nova geração de modelos e alcançou melhorias significativas na qualidade de imagem e qualidade dinâmica. uma nova função - movimento Pincel, o efeito de geração é mais controlável.
"Keling 1.5 é muito forte. Pode-se dizer que é o mais realista entre todos os modelos. Comparado com Runway, ele basicamente superou o problema anterior de deformação de personagem."
Nos efeitos de vídeo reais gerados, comparando Keling e Runway, podemos ver que com a mesma palavra de alerta, ambos têm um forte efeito na estabilidade do personagem real, mas os efeitos de vídeo gerados por Keling podem desbloquear automaticamente a expressão facial. .
“O Runway pode realmente gerar expressões faciais por conta própria, mas o efeito é muito estranho”, disse Yamjiang AIgen. No entanto, as habilidades do Keling AI e do Runway são aleatórias e não fixas.
Na verdade, pode-se ver que Keling AI e Runway são superiores em efeitos de geração reais e, em termos de compreensão de palavras imediatas, Keling AI está de fato na vanguarda, mas no futuro ainda precisará ser continuamente atualizado de forma iterativa para ser capaz de Esta habilidade é solidificada.
(Pista, palavra de alerta: uma modelo feminina vestindo novas roupas chinesas, exibindo seu estilo, com fumaça colorida flutuando ao fundo, fornecida pela AIgen)
(Keling AI, palavra de alerta: Uma modelo feminina vestindo novas roupas chinesas está exibindo seu estilo, com fumaça colorida flutuando ao fundo, fornecida por Yamjiang AIgen)
No entanto, depois que Jimeng lançou o vídeo mais recente para gerar um modelo grande, Vicky acredita que os recursos do modelo e o design da interface do usuário não são muito diferentes dos de Keling. Ao mesmo tempo, durante os testes internos do modelo da versão Jimeng Platform Pro, ele pode controlar facilmente a amplitude de movimento e as ações da tela.
Como principais plataformas de vídeos curtos na China, Kuaishou e Bytedance estabeleceram suas trilhas de geração de vídeos com IA. O objetivo final é atrair e reter a atenção dos usuários, o que requer a produção contínua de produtos novos, criativos e de alta qualidade.
Com base nisso, os curtas dramas de IA também se tornaram um dos focos de competição entre Bytedance e Kuaishou Keling.
Em julho deste ano, o curta-drama de IA "Montanhas e mares e espelhos estranhos: cortando ondas" criado por "Keling AI" atraiu a atenção generalizada. O curta-drama se tornou o primeiro micro-drama de fantasia original da AIGC na China.
Em setembro, Kuaishou Xingmang Short Drama e "Keling AI" lançaram o "Xing You Lingxi-AI Short Drama Creation Competition". É relatado que a competição incentiva mais pessoas a participarem da criação de curtas-metragens de IA por meio de várias medidas, como recompensas de tráfego, prêmios honorários e assinatura de conteúdo.
Byte também não deve ficar atrás. Embora a Dream AI esteja se unindo à Bona Pictures para lançar o primeiro curta-metragem de ficção científica gerado pela AIGC, "Sanxingdui: Future Apocalypse", ela também está se unindo a muitos "supercriadores" na plataforma Douyin. para alcançar a cocriação, convidando Existem fãs de alta qualidade e especialistas de alta influência na plataforma que se juntaram ao programa "Super Creator Alliance", na esperança de construir a maior comunidade de criação virtual da China.
Mas nesta fase, seja Douyin ou Kuaishou, o conteúdo criado pelos criadores de cinema e televisão nas suas plataformas de vídeo é “difícil de sair do círculo”, disse Vicky: “Porque todo o mercado ainda não foi formado”. Os usuários finais C não sabem como usá-lo. Para que serve isso? Haverá alguma demanda comercial pelo cabeçote, mas não há muita demanda e a situação geral não é estável.
Afinal, ainda existem relativamente poucos criadores profissionais no mundo neste estágio, e a tecnologia de grandes modelos de geração de vídeo com IA ainda está em seus estágios iniciais.
Portanto, como plataforma de vídeo líder, a competição entre Byte e Kuaishou está se tornando cada vez mais acirrada. Além da batalha pela tecnologia e produtos de IA subjacentes, o que é mais importante é quem pode assumir a liderança na exploração do caminho do conteúdo habilitado para tecnologia. . Afinal, se a plataforma conseguir reunir criadores de conteúdo mais inovadores, poderá criar um ecossistema comunitário mais preocupado e querido pelos usuários.
É claro que, além de Byte e Kuaishou, outros players na área de geração de vídeo de IA também começaram a “dividir-se”. Alguns fabricantes de pequeno e médio porte também começaram a explorar e encontrar seu próprio caminho para uma concorrência diferenciada.
Em plataformas de vídeos curtos como Douyin e Kuaishou o conteúdo criado por alguns criadores pode ser difícil de sair do círculo mas alguns vídeos contendo efeitos especiais de fantasmas e animais são extremamente populares como o vídeo gerado por IA de He Jiong e Huang Lei de repente lutando.
Para os jogadores na faixa de geração de vídeo de IA, ByteDance e Kuaishou estão competindo em uma gama completa de ecossistemas de tecnologia e conteúdo, enquanto outros jogadores de pequeno e médio porte estão mais focados em segmentar a pista e identificar suas próprias plataformas e posicionamento de produto tem tornar-se a base para a sobrevivência e o desenvolvimento.
No final de outubro, o CEO da Runway deixou claro numa carta aberta que a Runway não é uma empresa de IA, mas uma empresa de mídia e entretenimento “Acho que a era das empresas de IA acabou”.
Com base nisso, enquanto grandes empresas competem para melhorar a duração, a fidelidade e a suavidade da geração de vídeo de IA, a Runway desenvolveu claramente suas próprias características na faixa de vídeo de IA - criando uma IA que atende especificamente arte, mídia e entretenimento.
A julgar pelos efeitos reais de geração de vídeo da Runway, pode-se dizer que seus efeitos na estabilidade e consistência do personagem estão na vanguarda. Além das capacidades técnicas básicas, na última atualização da versão, as duas novas funções lançadas pela Runway, embora pequenas, proporcionarão grande comodidade e enorme economia de custos para animadores, desenvolvedores de jogos e cineastas.
Pode-se dizer que o Runway é um dos produtos mais populares entre os profissionais do cinema e da televisão. Além da robustez técnica, o mais importante é a relação custo-benefício.
"Runway é tão perfumado. Usamos Keling com moderação, mas Runway é ilimitado. Não importa se você fuma centenas de vezes por dia." AIgen disse: "A aleatoriedade dos vídeos de IA ainda é muito forte. Se você cobrar por." -view, pode ser difícil para os criadores comuns arcar com esse custo.
Por outro lado, se você usar 1.000 yuans para comprar pontos, poderá comprar 15.000 pontos keling. Cada vez que usar 35 pontos keling, 1.000 yuans só poderão ser gerados 428 vezes. Para verdadeiros empreendedores, basicamente não é suficiente “A julgar pela frequência de mais de 200 vídeos que gero todos os dias na Runway, os pontos comprados por Keling por 1.000 yuans são basicamente esgotados em 2 dias”.
No artigo anterior da Guangcone Intelligence, “Os vídeos explosivos de IA, grandes fabricantes vão para a esquerda, start-ups vão para a direita”, também foi mencionado que o método de cobrança de adesão adotado por cada plataforma nesta fase não pode ser comercializado. Para os empresários de ciclo fechado, a taxa de pagamento subsequente e a disponibilidade para pagar não serão muito elevadas. Hoje em dia, parece que mesmo para os empresários que conseguem alcançar uma comercialização em circuito fechado, a relação custo-eficácia é também um factor chave que afecta a utilização dos produtos.
Além de Runway, Pika e Pixverse também encontraram suas próprias faixas. Pode-se perceber pela última versão atualizada que o foco dessas duas empresas é treinar alguns efeitos especiais que os usuários possam usar diretamente “Embora a metáfora possa não ser apropriada, está um pouco próxima dos adesivos feitos por Douyin antes. " Batata Jiang AIgen disse.
Por exemplo, durante o período de Halloween no final de outubro, a versão Pixverse V3 adicionou muitos novos efeitos especiais com tema de Halloween, incluindo modo zumbi, chapéus de mago, invasão de monstros e outros efeitos temáticos, bem como efeitos especiais de pinça de IA semelhantes aos de Pika. funções populares de pinçamento de IA e extensão de vídeo. Os usuários podem adicionar 5 a 8 segundos adicionais de conteúdo aos vídeos existentes e podem controlar com precisão a direção do conteúdo dos clipes recém-adicionados.
Com o recente lançamento do filme "Venom: The Last Dance", PixVerse lançou um novo efeito especial de vídeo "We Are Venom" baseado no mais recente modelo de vídeo PixVerse V3, que pode gerar animações legais de veneno a partir de imagens com um clique.
Atualmente, esse tipo de efeitos especiais fantasmagóricos é muito popular entre os usuários de plataformas sociais. Anteriormente, Pika lançou o efeito especial de pinçamento de IA na versão 1.5. Depois de lançado, ele também contava com esse efeito de onda para conseguir ultrapassagens nas curvas. Conch AI, que começou a crescer na mesma época que Pika, na verdade dependia de performances de personagens e pacotes de expressão de memes para inflamar diretamente a opinião pública estrangeira e ultrapassar outros em um canto.
Efeitos de compressão de IA de Pika
Na verdade, embora o Conch AI tenha sido lançado tarde, os profissionais da indústria têm uma opinião elevada sobre o Conch AI. "O desempenho da Conch AI nos movimentos dos personagens é muito bom. O recente vídeo gerado pela IA da luta entre He Jiong e Huang Lei foi gerado pela Conch AI", disse Yangtaojiang AIgen.
No entanto, mais importante ainda, a Conch AI alcançou o efeito de "florescer internamente e perfumada fora da parede". Como uma plataforma de geração de vídeo de IA lançada no exterior pela empresa doméstica de IA MiniMax, a popularidade da pesquisa continuou a aumentar desde que foi lançada.
De acordo com estatísticas da "AI Product List", o número de visitas à versão web do Conch AI disparou 860% em setembro, ocupando o primeiro lugar no crescimento global e doméstico em setembro. Usuários estrangeiros compartilharam suas experiências em plataformas sociais e geralmente acredita-se que o Conch AI é uma das melhores ferramentas de geração de vídeo de IA atualmente no mercado.
Com a popularidade de seus produtos nos mercados internacionais, a MiniMax tem estado na vanguarda do modelo grande Six Little Tigers em termos de capacidade de comercialização.
Em comparação, plataformas como Vidu e Zhipu Qingying estão em constante evolução em termos de consistência de assunto, estabilidade de personagem e duração de geração de vídeo, mas ainda não formaram seu próprio estilo e vantagem competitiva.
Embora a tecnologia de geração de vídeo AI esteja em constante evolução e tenha derivado faixas segmentadas exclusivas. No entanto, o relatório de pesquisa da Cinda Securities também mostra que a tecnologia de geração de vídeo por IA ainda precisa ser melhorada em termos de consistência de caracteres, duração necessária e qualidade de imagem para atender aos padrões de comercialização.
Ao mesmo tempo, as atuais ferramentas de vídeo de IA ainda estão em fase de competição pela geração de vídeo, e a maioria delas são produtos de função única. efeito da saída direta de vídeos comercializáveis.
No futuro, a plataforma de grande modelo de geração de vídeo de IA ainda precisará continuar a evolução iterativa.