legend.video

Legend.video es su director de IA de código abierto. Describe tu concepto, se hará un video con Gen AI. Puedes probarlo en Legend.video.

Capturas de pantalla

---

Características

A partir de un mensaje simple (por ejemplo, "Comedia romántica de San Francisco"), Legend.video generará primero un guión gráfico con escenas que constan de tomas individuales. Luego puede editar el guión gráfico, generar imágenes fijas para cada toma y luego generar un vídeo a partir de las imágenes fijas. El resultado es un vídeo que cuenta una historia.

Los modelos de vídeo actuales generan clips de 2 a 4 segundos que no cuentan una historia. Legend.video te ayuda a construir una historia a partir de estas breves tomas de 2 a 4 segundos.

Tecnología

• Enrutador de aplicaciones Next.js, Tailwind CSS, shadcn/ui
• Supabase para OAuth (a través de Github y Google) y Postgres DB
• gpt-4o para generar guiones gráficos (pero esto se puede reemplazar con gpt-3.5-turbo y cualquier modelo que admita llamadas a funciones)
• modelos de texto a imagen e imagen a video en Replicate para generar imágenes fijas y videos
• Estamos alojando https://legend.video/ en Vercel, pero también puedes ejecutarlo fácilmente en otro lugar.
• Estamos utilizando Stripe para cobrar a los usuarios por créditos de generación adicionales después de los 200 créditos gratuitos iniciales que recibe cada usuario.

como correr

Copie el .env.example en un archivo .env.local local para configurar las diversas variables de entorno y secretos: estamos usando Supabase para almacenamiento, Vercel para almacenamiento de blobs, Github y Google para iniciar sesión y Replicate para generación de IA.

$ cp .env.example .env.local

Almacenamiento de base de datos: deberá iniciar un proyecto de Supabase y precargar el esquema de base de datos desde docs/db_schema.sql .

Almacenamiento de blobs de Vercel: estamos usando el almacén de blobs de Vercel. Puede crear una tienda de blobs en su plan gratuito y completar la variable BLOB_READ_WRITE_TOKEN .

Iniciar sesión: puede crear un token GitHub OAuth en su configuración. Para Google, deberás iniciar un nuevo proyecto y crear claves OAuth.

Replicar: utilizamos Replicar para sus modelos de IA alojados. Regístrese para obtener una clave aquí y copie su token en REPLICATE_API_TOKEN .

Luego ejecute estos comandos para instalar las dependencias e iniciar el servidor:

 $ pnpm install
$ pnpm run dev

Ahora debería poder ver la aplicación ejecutándose en localhost:3000.

donde puedes ayudar

Si desea ayuda con cualquiera de los siguientes, póngase en contacto:

1. Mantener el estilo consistente entre tomas : hemos logrado algunos avances con esto, pero no es perfecto
2. Mantener los personajes consistentes entre tomas : hemos experimentado con métodos de indicaciones para esto, pero necesitamos una solución más sofisticada.
3. Sonido : nos encantaría recibir ayuda para agregar sonido a los videos.
4. Editar mediante solicitud : permita a los usuarios editar sus historias al estilo ChatGPT.
5. Mejoras en la interfaz de usuario : nos encantaría ayudarnos a hacer que la interfaz de usuario sea más intuitiva y fácil de usar.
6. Nuevos modelos : si tiene acceso a modelos de video mejores y más nuevos que le gustaría que sean accesibles a través de Legend.video, háganoslo saber. Nos encantaría intentarlo.

Informar problemas

Informe los problemas en la página de problemas de Github.

Contribuyendo

Si desea contribuir con correcciones de errores o nuevas funciones, bifurque el repositorio, realice los cambios en una rama y luego envíe una solicitud de extracción. Lo revisaremos lo antes posible y lo fusionaremos si es bueno.

Historia de las estrellas

¡Gracias por protagonizar este repositorio!