Suite à la mise à jour de la version de septembre, Guangcone Intelligence a appris du cercle d'amis de Tang Jiayu, co-fondateur et PDG de Shengshu Technology, que le grand modèle Vidu sera à nouveau mis à niveau cette semaine et que la version Vidu-1.5 sera bientôt lancée.
L'orientation de la mise à jour de cette version se concentre toujours sur l'extension de la capacité de généralisation et de la cohérence des sujets des grands modèles. La version précédente se concentrait sur la cohérence d'un seul sujet, tandis que la dernière version peut comprendre et intégrer plusieurs concepts tels que les personnages, les objets et les environnements, et suivre les instructions de l'utilisateur pour générer des résultats vidéo pertinents de fusion de plusieurs sujets en 30 secondes, en prenant le leader dans la création vidéo.
En plus de Vidu, depuis septembre de cette année, selon des statistiques incomplètes, les principales plates-formes de génération de vidéos d'IA, notamment Jimeng AI de Bytedance, Kuaishou Keling AI, Runway, Zhipu Qingying, Aishi Technology PixVerse et pika, ont toutes une mise à jour de version.
Actuellement, dans le domaine en vogue de la génération de vidéos IA, de grandes start-ups modèles et de grandes sociétés Internet sont entrées dans le jeu. Après des lancements intensifs de produits au début, il est maintenant entré dans la phase d'itération de produits et de concurrence de mise à niveau.
Grâce au contenu mis à jour de chaque version, il n'est pas difficile de constater que la direction générale de l'itération des capacités de grand modèle de génération de vidéo AI est toujours la durée de la vidéo générée, la stabilité et la continuité de l'image et la cohérence du sujet. avant et après.
Mais dans le même temps, différents acteurs ont commencé à se « diviser » en applications fonctionnelles réelles, chacune avec ses propres priorités. Certains acteurs de petite et moyenne taille ont également commencé à trouver leurs propres segments de marché.
Par exemple, la dernière version de Runway a mis à jour Act-One, qui peut reproduire avec précision les expressions faciales de personnes réelles sur des personnages IA, pour permettre le contrôle de la caméra 3D AI. PixVerse a lancé divers effets spéciaux d'Halloween, effets spéciaux de venin, etc.
Concernant cette série de mises à jour de diverses plates-formes de génération de vidéos d'IA, Chen Kun, fondateur de Xingxian Culture et producteur de l'IP fantastique originale d'IA « Mountains and Seas Mirror », estime : « La plus grande mise à jour devrait être la migration d'expression d'Act- Un, qui offre une meilleure façon d'interpréter les personnages. Possibilités de base. " Quant à la cohérence et à la stabilité des personnages, " il y a des progrès, mais il n'y a pas de progrès intergénérationnel.
Selon Vicky, la créatrice de la vidéo IA, par rapport au produit original au premier semestre, la dernière plate-forme vidéo IA mise à jour a non seulement réitéré les capacités du modèle sous-jacent, mais a également mis à jour ses fonctions, telles que la tête et la queue. assemblage, qualité d'image et supplémentation de la fréquence d'images, doublage et autres fonctions, "l'amélioration de ces fonctions est en fait plus complète qu'au premier semestre".
Si le premier semestre 2024 est une course aux armements sur la piste de la génération vidéo IA, alors le second semestre sera un cycle de mise à jour des versions par petites étapes.
À ce stade, la concurrence entre Byte et Kuaishou est encore féroce. Les petits et moyens fabricants commencent à trouver leurs propres voies uniques, et certaines entreprises se concentrent sur les marchés étrangers et ont également obtenu l'effet de « fleurir au niveau national et parfumé ». hors du mur".
Sans aucun doute, les combats à ce stade peuvent sembler bénins, mais ils ont un impact substantiel sur le positionnement et l'orientation future du développement de la plateforme, ainsi que sur la croissance durable ultérieure des groupes d'utilisateurs et de leur nombre.
"Jimeng est un peu en retard." Il s'agit d'une évaluation objective donnée par les utilisateurs de la plateforme de génération de vidéos IA.
En tant que l'un des premiers lots de plates-formes de génération vidéo IA l'année dernière et un produit de Byte, les effets de génération vidéo de Dream AI ont été critiqués par les utilisateurs et sont battus par des joueurs tels que Runway et Pika.
En juin de cette année, Kuaishou, le concurrent direct de Byte dans le domaine des vidéos courtes, a officiellement lancé le modèle de grande génération de vidéos « Keling » sur son site officiel et a rapidement émergé de l'industrie. Dans le même temps, de plus en plus de plates-formes de génération de vidéo IA surgissent et la piste de génération de vidéo IA est en plein essor.
Sous une forte pression concurrentielle, Bytedance, en tant que premier échelon de produits nationaux d'IA, a comblé les lacunes de la génération vidéo, qui est devenue une priorité absolue, et sa rapidité de rattrapage dépasse l'imagination.
Le 24 septembre, le Volcano Engine AI Innovation Tour 2024 s'est tenu à Shenzhen. Chen Xinran, l'ancien directeur de Douyin Art, est apparu en tant que responsable de Jimeng AI et Cutting Market and Operations, et a annoncé que Jimeng AI était connecté au dernier de Doubao. Modèle de génération vidéo.
Dans le même temps, ByteDance a publié deux modèles de génération vidéo, Seaweed et Pixeldance, de la famille de modèles Doubao, et a invité les créateurs et les entreprises clientes à effectuer des tests à petite échelle via Jimeng AI et Huoshan Engine respectivement.
Le 8 novembre, Dream AI, une plateforme de contenu d'IA appartenant à ByteDance, a annoncé que Seaweed, un modèle de génération vidéo développé par ByteDance, était officiellement ouvert aux utilisateurs de la plateforme.
Selon ByteDance, le modèle de génération vidéo de pouf Seaweed qui est ouvert cette fois-ci est la version standard de ce modèle. Il ne faut que 60 secondes pour générer une vidéo AI de haute qualité de 5 secondes, soit 3 à 5 minutes d'avance. toutes les normes de l’industrie nationale. Nécessite du temps de génération.
Jimeng AI a également révélé que les versions Pro de deux modèles de génération vidéo, Seaweed et Pixeldance, seront également disponibles dans un avenir proche. Le modèle de la version Pro peut réaliser des actions multi-prises naturelles et cohérentes et des interactions complexes avec plusieurs sujets, et surmonte le problème de cohérence de la commutation multi-prises. Il peut maintenir la cohérence du sujet, du style et de l'atmosphère lors du changement d'objectif, et est. adapté aux films, à la télévision et aux ordinateurs, téléphones mobiles et autres appareils.
ByteDouyin et Kuaishou, en tant que leaders des plateformes nationales de vidéos courtes, leurs concurrents sont passés de la vidéo courte et du commerce électronique au domaine de l'IA. Objectivement parlant, Douyin est en avance sur Kuaishou dans tous les aspects. Mais seulement dans le domaine de l'IA, Kuaishou a lancé une belle contre-attaque.
Depuis son succès instantané en juin, Kuaishou Keling a en fait connu plusieurs itérations de versions plus petites.
Mais en termes de capacités sous-jacentes des grands modèles, le 20 septembre de cette année, Kuaishou a publié la version 1.5 de Keling, qui est connectée à une nouvelle génération de modèles et a obtenu des améliorations significatives en termes de qualité d'image et de qualité dynamique. une nouvelle fonction - Brush, l'effet de génération est plus contrôlable.
"Keling 1.5 est très puissant. On peut dire qu'il est le plus réaliste de tous les modèles. Comparé à Runway, il a essentiellement surmonté le problème précédent de déformation du personnage", a déclaré AIgen (nom de scène) à Lightcone Intelligence.
Dans les effets vidéo réellement générés, en comparant Keling et Runway, nous pouvons voir qu'avec le même mot d'invite, les deux ont un effet important sur la stabilité du sujet du personnage, mais les effets vidéo générés par Keling peuvent automatiquement déverrouiller l'expression du visage. .
"Runway peut en fait générer des expressions faciales par lui-même, mais l'effet est très étrange", a déclaré Yamjiang AIgen. Cependant, les capacités de Keling AI et Runway sont aléatoires et non fixes.
En fait, on peut voir que Keling AI et Runway sont supérieurs en termes d'effets de génération réels, et en termes de compréhension des mots d'invite, Keling AI est en effet à l'avant-garde, mais à l'avenir, elle devra encore être continuellement mise à niveau de manière itérative pour être capable de Cette capacité est solidifiée.
(Piste, mot d'invite : un mannequin portant de nouveaux vêtements chinois, montrant son style, avec de la fumée colorée flottant en arrière-plan, fourni par AIgen)
(Keling AI, mot d'invite : un mannequin portant de nouveaux vêtements chinois montre son style, avec de la fumée colorée flottant en arrière-plan, fourni par Yamjiang AIgen)
Cependant, après que Jimeng a lancé la dernière vidéo pour générer un grand modèle, Vicky estime que ses capacités de modèle et la conception de son interface utilisateur ne sont pas très différentes de celles de Keling. Dans le même temps, lors des tests internes du modèle Jimeng Platform Pro, il peut facilement contrôler la plage de mouvement et les actions de l'écran.
En tant que principales plateformes de vidéos courtes en Chine, Kuaishou et Bytedance ont défini leurs pistes de génération de vidéos IA. L'objectif ultime est d'attirer et de retenir l'attention des utilisateurs, ce qui nécessite une production continue de produits nouveaux, de haute qualité et créatifs.
Sur cette base, les courts métrages dramatiques sur l'IA sont également devenus l'un des axes de compétition entre Bytedance et Kuaishou Keling.
En juillet de cette année, le court métrage dramatique d'IA "Mountains and Seas and Strange Mirrors: Chopping Waves" créé par "Keling AI" a attiré une large attention. Le court métrage dramatique est devenu le premier micro court métrage fantastique original de l'AIGC en Chine.
En septembre, Kuaishou Xingmang Short Drama et « Keling AI » ont lancé le « Concours de création de courts métrages Xing You Lingxi-AI ». Il est rapporté que le concours encourage davantage de personnes à se joindre à la création de courts métrages dramatiques sur l'IA grâce à diverses mesures telles que des récompenses de trafic, des récompenses honorifiques et la signature de contenu.
Byte n'est pas non plus en reste. Si Dream AI s'associe à Bona Pictures pour sortir le premier court métrage de science-fiction généré par l'AIGC "Sanxingdui : Future Apocalypse", il s'associe également à de nombreux "super créateurs" sur la plateforme Douyin. pour réaliser la co-création, invitant Il y a des fans de haute qualité et des experts de grande influence sur la plateforme qui ont rejoint conjointement le programme « Super Creator Alliance », dans l'espoir de construire la plus grande communauté de création virtuelle en Chine.
Mais à ce stade, qu'il s'agisse de Douyin ou de Kuaishou, le contenu créé par les créateurs de cinéma et de télévision sur leurs plateformes vidéo est « difficile à sortir du cercle », a déclaré Vicky, « parce que l'ensemble du marché n'est pas encore formé et que ». Les utilisateurs finaux C ne savent pas comment l'utiliser. À quoi sert-elle ici ? Il y aura une certaine demande commerciale pour la tête, mais il n'y a pas beaucoup de demande et la situation globale n'est pas stable.
Après tout, il y a encore relativement peu de créateurs professionnels dans le monde à ce stade, et la technologie grand modèle de génération de vidéo IA en est encore à ses débuts.
Par conséquent, en tant que principale plate-forme vidéo, la concurrence entre Byte et Kuaishou devient de plus en plus féroce. Outre la bataille pour la technologie et les produits d'IA sous-jacents, ce qui est plus important est de savoir qui peut prendre la tête de l'exploration de la voie du contenu technologique. . Après tout, si la plateforme parvient à rassembler des créateurs de contenu plus innovants, elle peut créer un écosystème communautaire plus concerné et apprécié des utilisateurs.
Bien sûr, en plus de Byte et Kuaishou, d'autres acteurs du secteur de la génération vidéo IA ont également commencé à « se diviser ». Certaines petites et moyennes entreprises ont également commencé à explorer et à trouver leur propre voie vers une concurrence différenciée.
Sur les plateformes de vidéos courtes telles que Douyin et Kuaishou, le contenu créé par certains créateurs peut être difficile à sortir du cercle, mais certaines vidéos contenant des effets spéciaux de fantômes et d'animaux sont extrêmement populaires, comme la vidéo générée par l'IA de He Jiong et Huang Lei se bat soudainement.
Pour les acteurs du secteur de la génération vidéo IA, ByteDance et Kuaishou sont en concurrence dans une gamme complète d'écosystèmes technologiques et de contenu, tandis que d'autres acteurs de petite et moyenne taille se concentrent davantage sur la segmentation du secteur et l'identification de leurs propres plates-formes et le positionnement des produits a devenir la base de la survie et du développement.
Fin octobre, le PDG de Runway a clairement indiqué dans une lettre ouverte que Runway n’était pas une société d’IA, mais une société de médias et de divertissement : « Je pense que l’ère des sociétés d’IA est révolue.
Sur cette base, alors que les grandes entreprises rivalisent pour améliorer la longueur, la fidélité et la fluidité de la génération vidéo IA, Runway a clairement développé ses propres caractéristiques dans le domaine de la vidéo IA - créant une IA spécifiquement au service de l'art, des médias et du divertissement.
À en juger par les effets réels de génération vidéo de Runway, on peut dire que ses effets sur la stabilité et la cohérence des personnages sont au premier plan. En plus des capacités techniques de base, dans la dernière mise à jour de la version, les deux nouvelles fonctions lancées par Runway, bien que petites, offriront une grande commodité et d'énormes économies aux animateurs, aux développeurs de jeux et aux cinéastes.
Runway peut être considéré comme l'un des produits les plus populaires parmi les praticiens du cinéma et de la télévision. Outre sa solidité technique, le plus important est sa rentabilité.
"Runway est tellement parfumé. Nous utilisons Keling avec parcimonie, mais Runway est illimité. Peu importe si vous le fumez des centaines de fois par jour." AIgen a déclaré: "Le caractère aléatoire des vidéos d'IA est toujours très fort. Si vous facturez au tarif." Selon moi, il peut être difficile pour les créateurs ordinaires de supporter ce coût.
En revanche, si vous utilisez 1 000 yuans pour acheter des points, vous pouvez acheter 15 000 points Keling. Chaque fois que vous utilisez 35 points Keling, 1 000 yuans ne peuvent être générés que 428 fois. Pour les vrais entrepreneurs, ce n'est fondamentalement pas suffisant. "À en juger par la fréquence de plus de 200 vidéos que je génère chaque jour sur Runway, les points achetés par Keling pour 1 000 yuans sont pratiquement épuisés en 2 jours."
Dans l'article précédent de Guangcone Intelligence, « Les vidéos explosives d'IA, les grands constructeurs vont à gauche, les start-ups vont à droite », il était également mentionné que la méthode de tarification des adhésions adoptée par chaque plateforme à ce stade ne pouvait pas être commercialisée. Pour les entrepreneurs en boucle fermée, le taux de paiement ultérieur et la volonté de payer ne seront pas très élevés. De nos jours, il semble que même pour les entrepreneurs capables de réaliser une commercialisation en boucle fermée, la rentabilité est également un facteur clé affectant leur utilisation des produits.
En plus de Runway, Pika et Pixverse ont également trouvé leurs propres morceaux. Il ressort de leur dernière version mise à jour que l'objectif de ces deux sociétés est de former des effets spéciaux que les utilisateurs peuvent utiliser directement. "Bien que la métaphore ne soit peut-être pas appropriée, elle est un peu proche des autocollants réalisés par Douyin auparavant. "Pomme de terre Jiang Aigen a déclaré.
Par exemple, pendant la période d'Halloween fin octobre, la version Pixverse V3 a ajouté de nombreux nouveaux effets spéciaux sur le thème d'Halloween, notamment le mode zombie, les chapeaux de sorcier, l'invasion de monstres et d'autres effets thématiques, ainsi que des effets spéciaux de pincement d'IA similaires à ceux de Pika. Fonctions populaires de pincement d'IA et d'extension vidéo. Les utilisateurs peuvent ajouter 5 à 8 secondes supplémentaires de contenu aux vidéos existantes et contrôler avec précision la direction du contenu des clips nouvellement ajoutés.
Avec la sortie récente du film "Venom: The Last Dance", PixVerse a lancé un nouvel effet vidéo "We Are Venom" basé sur le dernier modèle vidéo PixVerse V3, qui peut générer des animations de venin sympas à partir d'images en un seul clic.
Actuellement, ce type d’effets spéciaux fantomatiques est très populaire parmi les utilisateurs des plateformes sociales. Auparavant, Pika avait lancé l'effet spécial de pincement de l'IA dans la version 1.5. Une fois lancé, il était également apprécié des utilisateurs. Il s'appuyait également sur cet effet de vague pour réaliser des dépassements dans les virages. Conch AI, qui a commencé à se développer à peu près au même moment que Pika, s'est en fait appuyé sur les performances des personnages et des packs d'expressions de mèmes pour enflammer directement l'opinion publique étrangère et dépasser les autres dans un coin.
Les effets de pincement de l'IA de Pika
En fait, bien que Conch AI ait été lancé tardivement, les praticiens de l’industrie ont une haute opinion de Conch AI. "Les performances de Conch AI dans les mouvements des personnages sont très bonnes. La récente vidéo générée par l'IA des combats entre He Jiong et Huang Lei a été générée par Conch AI", a déclaré Yangtaojiang AIgen.
Cependant, plus important encore, Conch AI a obtenu l'effet de « fleurir au niveau national et parfumé à l'extérieur du mur ». En tant que plate-forme de génération de vidéos IA lancée à l’étranger par la société nationale d’IA MiniMax, la popularité des recherches a continué d’augmenter après son lancement.
Selon les statistiques de la « AI Product List », le nombre de visites sur la version Web de Conch AI a grimpé de 860 % en septembre, se classant au premier rang en termes de croissance mondiale et nationale en septembre. Les utilisateurs étrangers ont partagé leur expérience sur les plateformes sociales, et il est généralement admis que Conch AI est l'un des meilleurs outils de génération de vidéos IA actuellement sur le marché.
Grâce à la popularité de ses produits sur les marchés étrangers, MiniMax a été à l'avant-garde du grand modèle Six Little Tigers en termes de capacités de commercialisation.
En comparaison, des plateformes telles que Vidu et Zhipu Qingying évoluent constamment en termes de cohérence des sujets, de stabilité des personnages et de durée de génération vidéo, mais elles n'ont pas encore formé leur propre style et leur propre avantage concurrentiel.
Bien que la technologie de génération vidéo IA évolue constamment et ait dérivé des pistes segmentées uniques. Cependant, le rapport de recherche de Cinda Securities montre également que la technologie de génération vidéo IA doit encore être améliorée en termes de cohérence des caractères, de durée requise et de qualité d'image pour répondre aux normes de commercialisation.
Dans le même temps, les outils vidéo d'IA grand public actuels sont encore au stade de la concurrence pour la génération vidéo, et la plupart d'entre eux sont des produits à fonction unique. Il faut encore utiliser une variété d'outils de création vidéo différents en série pour atteindre cet objectif. effet de sortie directe de vidéos commercialisables.
À l'avenir, la plate-forme de grands modèles de génération vidéo IA devra encore poursuivre son évolution itérative.