artificio

acerca de

utilizando ML generativo de imagen a video con IA para alucinar secuencias de video extendidas a partir de una única imagen de fuente.

Necesitará una clave API de replicate.com exportada como una variable de entorno.

dependencias

probado en debian linux

esto requiere ffmpeg

ejecutar esto cuesta dinero *ver precios de replicate.com

coloque sus imágenes en la carpeta ./images. La salida mp4 está en la carpeta de salida.

sudo apt-get install ffmpeg
git clone https://github.com/m-onz/hallucinate
npm i
export REPLICATE_API_TOKEN=r8_BRU **********************************
node hallucinate.js

espera mucho tiempo!

generando imágenes iniciales

Puede agregar imágenes a la carpeta de images desde cualquier fuente. Yo usé este modelo

Con el mensaje:

 shocking abstract 3D art in the style of andy warhol and francis bacon for a gallery that shocks the viewer exploring digital, glitch and modern culture, distorted abstract wireframe mesh forms

También puede actualizar el script hallucinate.js para configurar el modelo de imagen a video:

 const output = await replicate . run (
  "ali-vilab/i2vgen-xl:5821a338d00033abaaba89080a17eb8783d9a17ed710a6b4246a18e0900ccad4" ,
  {
    input : {
      image : dataURI ,
      prompt : "shocking abstract 3D art in the style of andy warhol and francis bacon for a gallery that shocks the viewer exploring digital, glitch and modern culture, distorted abstract wireframe mesh forms" ,
      max_frames : 33
    }
  }
) ;