artifício

sobre

usando ML generativo de imagem para vídeo com IA para alucinar sequências de vídeo estendidas de uma única imagem de origem.

você precisará de uma chave de API de replicate.com exportada como uma variável de ambiente.

dependências

testado no debian linux

isso requer ffmpeg

isso custa dinheiro para ser executado * consulte os preços do replicate.com

coloque suas imagens na pasta ./images. A saída mp4 está na pasta de saída.

sudo apt-get install ffmpeg
git clone https://github.com/m-onz/hallucinate
npm i
export REPLICATE_API_TOKEN=r8_BRU **********************************
node hallucinate.js

espere muito tempo!

gerando imagens iniciais

Você pode adicionar imagens à pasta de images de qualquer fonte. Eu usei esse modelo

Com o prompt:

 shocking abstract 3D art in the style of andy warhol and francis bacon for a gallery that shocks the viewer exploring digital, glitch and modern culture, distorted abstract wireframe mesh forms

Você também pode atualizar o script hallucinate.js para configurar o modelo de imagem para vídeo:

 const output = await replicate . run (
  "ali-vilab/i2vgen-xl:5821a338d00033abaaba89080a17eb8783d9a17ed710a6b4246a18e0900ccad4" ,
  {
    input : {
      image : dataURI ,
      prompt : "shocking abstract 3D art in the style of andy warhol and francis bacon for a gallery that shocks the viewer exploring digital, glitch and modern culture, distorted abstract wireframe mesh forms" ,
      max_frames : 33
    }
  }
) ;