legend.video

Legend.video é o seu diretor de IA de código aberto. Descreva seu conceito, ele fará um vídeo com Gen AI. Você pode experimentar em Legend.video.

Capturas de tela

---

Características

A partir de um simples prompt (por exemplo, “San Franciso romcom”), Legend.video irá primeiro gerar um storyboard com cenas que consistem em tomadas individuais. Você pode então editar o storyboard, gerar imagens estáticas para cada foto e, em seguida, gerar um vídeo a partir das imagens estáticas. O resultado é um vídeo que conta uma história.

Os modelos de vídeo atuais geram clipes de 2 a 4 segundos que não conseguem contar uma história. Legend.video ajuda você a construir uma história a partir dessas cenas curtas de 2 a 4 segundos.

Tecnologia

• Roteador de aplicativo Next.js, Tailwind CSS, shadcn/ui
• Supabase para OAuth (via Github e Google) e Postgres DB
• gpt-4o para gerar storyboards (mas pode ser substituído por gpt-3.5-turbo e qualquer modelo que suporte chamada de função)
• modelos de texto para imagem e imagem para vídeo no Replicate para gerar imagens estáticas e vídeos
• Estamos hospedando https://legend.video/ no Vercel, mas você também pode executá-lo facilmente em outro lugar.
• Estamos usando o Stripe para cobrar dos usuários créditos de geração adicionais após os 200 créditos gratuitos iniciais que cada usuário recebe.

Como correr

Copie o .env.example em um arquivo .env.local local para configurar as várias variáveis ​​​​e segredos de ambiente: estamos usando Supabase para armazenamento, Vercel para armazenamento de blob, Github e Google para login e Replicate para geração de IA.

$ cp .env.example .env.local

Armazenamento de banco de dados: você precisará iniciar um projeto Supabase e pré-carregar o esquema de banco de dados em docs/db_schema.sql .

Armazenamento Vercel Blob: estamos usando o Vercel blobstore. Você pode criar um armazenamento de blob em seu plano gratuito e preencher a variável BLOB_READ_WRITE_TOKEN .

Login: você pode criar um token GitHub OAuth em suas configurações. Para o Google, você precisará iniciar um novo projeto e criar chaves OAuth.

Replicar: estamos usando Replicar para seus modelos de IA hospedados. Cadastre-se para obter uma chave aqui e copie seu token para REPLICATE_API_TOKEN .

Em seguida, execute estes comandos para instalar as dependências e iniciar o servidor:

 $ pnpm install
$ pnpm run dev

Agora você deve conseguir ver o aplicativo em execução em localhost:3000.

Onde você pode ajudar

Se desejar ajuda com algum dos itens a seguir, entre em contato:

1. Manter o estilo consistente entre as fotos – fizemos alguns progressos nisso, mas não é perfeito
2. Manter os personagens consistentes entre as tomadas - experimentamos métodos de prompt para isso, mas precisamos de uma solução mais sofisticada
3. Som - adoraríamos ajuda para adicionar som aos vídeos
4. Editar por solicitação - permite que os usuários editem suas histórias no estilo ChatGPT.
5. Refinamentos da UI - Adoraríamos ajuda para tornar a UI mais intuitiva e fácil de usar
6. Novos modelos - Se você tiver acesso a modelos de vídeo mais novos e melhores que gostaria de tornar acessíveis através do Legend.video, informe-nos. Adoraríamos tentar.

Relatar problemas

Por favor, relate problemas na página de problemas do Github.

Contribuindo

Se você quiser contribuir com correções de bugs ou novos recursos, bifurque o repositório, faça suas alterações em um branch e envie uma solicitação pull. Iremos revisá-lo o mais rápido possível e fundi-lo se estiver bom.

História das Estrelas

Obrigado por estrelar este repositório!