L'équipe Colossal-AI a open source la solution de reproduction d'algorithme Sora Open-Sora, dans le but de réduire les coûts de reproduction et d'améliorer les performances. Cette solution couvre l'ensemble du processus, du traitement des données à l'inférence de formation, prend en charge plusieurs structures de modèles, méthodes de compression vidéo et optimisation de formation parallèle, améliorant considérablement l'efficacité de la formation. Open-Sora a utilisé le modèle DiT-XL/2 pour effectuer un test de performances d'une longueur de séquence de 600 Ko sur un seul GPU H800 SXM 8*80 Go. Les résultats ont montré que l'amélioration des performances et la réduction des coûts dépassaient 40 %. Ce projet s'engage à fournir une solution de reproduction Sora complète et efficace pour offrir plus de commodité aux chercheurs et aux développeurs.
Colossal-AI a open source la solution complète d'architecture de récurrence Sora Open-Sora, prétendant réduire le coût de récurrence de 46 % et étendre la longueur de la séquence d'entrée de formation du modèle à 819 000 correctifs. Solution de reproduction de l'algorithme Sora Dans le rapport technique de Sora, Sora utilise un réseau de compression vidéo pour compresser des vidéos de différentes tailles en une séquence de blocs spatio-temporels dans un espace latent, puis utilise un transformateur de diffusion pour le débruitage, et enfin décode pour générer une vidéo. Open-Sora résume le pipeline de formation que Sora peut utiliser pour fournir une solution complète d'architecture de récurrence Sora, y compris l'ensemble du processus, du traitement des données à l'inférence de formation. À l'heure actuelle, Open-Sora fournit une solution complète d'architecture de récurrence Sora, comprenant l'ensemble du processus, du traitement des données à l'inférence de formation, prenant en charge la résolution dynamique, plusieurs structures de modèles, plusieurs méthodes de compression vidéo et plusieurs optimisations de formation parallèles. En termes de performances, en prenant comme exemple le test de performances du modèle DiT-XL/2 sur un seul GPU H800 SXM 8*80 Go, avec une longueur de séquence de 600 Ko, la solution Open-Sora présente une amélioration des performances de plus de 40 % et le coût par rapport à la solution de base est réduit. Adresse open source Open-Sora : https://github.com/hpcaitech/Open-Sora.L'open source d'Open-Sora fournit des ressources précieuses aux chercheurs et aux développeurs, accélérant ainsi l'avancement de la technologie de génération vidéo. Sa grande efficacité et son faible coût devraient encourager davantage de personnes à participer à la recherche dans ce domaine. Nous attendons avec impatience de nouvelles améliorations et développements d'Open-Sora à l'avenir pour contribuer davantage au domaine de la génération vidéo IA.