O Plano Open-Sora v1.2 está aqui! Esta atualização traz atualizações revolucionárias, cujo núcleo está na nova arquitetura 3D de atenção total, que muda completamente a maneira como a IA entende o mundo físico e dá um salto do plano para o tridimensional. Além da melhoria significativa na capacidade de compreender o mundo físico, a capacidade de gerar vídeos a partir de texto também foi significativamente melhorada. A clareza e a consistência dos vídeos gerados também foram melhoradas. foi significativamente otimizado e a velocidade de inferência foi ainda maior. Vamos dar uma olhada nas atualizações detalhadas do Plano Open-Sora v1.2.
O Open-Sora Plan foi atualizado novamente A versão mais recente do Open-Sora Plan v1.2 apresenta uma nova arquitetura 3D de atenção total, que melhora a compreensão do mundo físico.
Principais destaques desta atualização:
Nova arquitetura 3D de atenção total: A nova arquitetura permite que a IA dê um salto qualitativo na compreensão do mundo físico. Não é mais um código QR que só consegue pensar em duas dimensões, agora ele consegue entender esse mundo tridimensional 360 graus sem pontos cegos!
Recursos de vídeo de geração de texto atualizados: você digita um trecho de texto e a IA pode apresentar uma imagem de vídeo realista.
Maior clareza e consistência: Através da nova arquitetura e estrutura VAE otimizada, a qualidade do vídeo gerado pelo Open-Sora é mais clara e o conteúdo é mais coerente. Diga adeus à ambiguidade!
Integração perfeita de espaço e tempo: A nova arquitetura 3D de atenção total resolve um grande problema da versão anterior - processar dimensões de espaço e tempo simultaneamente. O que isso significa? Significa que o vídeo gerado será significativamente melhorado em termos de desempenho espacial e fluência temporal!
A velocidade de inferência foi bastante melhorada: a estrutura CausalVideoVAE otimizada não apenas melhora o desempenho do modelo, mas também aumenta a velocidade de inferência. Festas de eficiência, alegria!
Olhando para trás, para a história de desenvolvimento do Open-Sora, descobriremos que seu progresso é incrível. Recentemente, em maio de 2024, a versão v1.1.0 ainda usava a arquitetura do modelo 2+1D, usada principalmente para treinamento exploratório. E agora, apenas alguns meses depois, evoluiu para um criador que pode criar um mundo 3D a uma velocidade tal que até Darwin teria exclamado: A teoria da evolução está prestes a ser reescrita!
O mais legal é que a equipe do Open-Sora não esconde nada. O código, os dados e os modelos são todos de código aberto, e eles apenas colam as instruções de como criar o mundo na sua cara! O objetivo deles é simples: permitir que todos se tornem o deus da criação de vídeo. Essa atitude aberta e de compartilhamento irá, sem dúvida, acelerar o progresso da tecnologia de geração de vídeo por IA!
O lançamento do Open-Sora Plan v1.2.0 marca uma nova era para modelos de geração de vídeo. Não só melhora significativamente a compressão da representação visual e a eficiência do raciocínio, mas também aponta a direção para o desenvolvimento futuro.
Endereço do projeto: https://top.aibase.com/tool/open-sora-plan-v1-2
O lançamento do Open-Sora Plan v1.2 anuncia que a tecnologia de geração de vídeo AI entrou em um novo estágio de desenvolvimento, e seu recurso de código aberto também fornece um forte impulso para o progresso tecnológico. Estamos ansiosos por mais surpresas que o Open-Sora pode trazer no futuro!