Kunstgriff

um

Verwendung generativer KI-Bild-zu-Video-ML, um ausgedehnte Videosequenzen aus einem einzigen Quellbild zu halluzinieren.

Sie benötigen einen API-Schlüssel von Replicate.com, der als Umgebungsvariable exportiert wird.

Abhängigkeiten

Getestet unter Debian Linux

Dies erfordert ffmpeg

Die Ausführung kostet Geld *siehe Preise für Replicate.com

Legen Sie Ihre Bilder im Ordner ./images ab. Die MP4-Ausgabe befindet sich im Ausgabeordner.

sudo apt-get install ffmpeg
git clone https://github.com/m-onz/hallucinate
npm i
export REPLICATE_API_TOKEN=r8_BRU **********************************
node hallucinate.js

warte noch lange!

Erstellung erster Bilder

Sie können Bilder aus jeder beliebigen Quelle zum images hinzufügen. Ich habe dieses Modell verwendet

Mit der Aufforderung:

 shocking abstract 3D art in the style of andy warhol and francis bacon for a gallery that shocks the viewer exploring digital, glitch and modern culture, distorted abstract wireframe mesh forms

Sie können auch das Skript hallucinate.js aktualisieren, um das Bild-zu-Video-Modell zu konfigurieren:

 const output = await replicate . run (
  "ali-vilab/i2vgen-xl:5821a338d00033abaaba89080a17eb8783d9a17ed710a6b4246a18e0900ccad4" ,
  {
    input : {
      image : dataURI ,
      prompt : "shocking abstract 3D art in the style of andy warhol and francis bacon for a gallery that shocks the viewer exploring digital, glitch and modern culture, distorted abstract wireframe mesh forms" ,
      max_frames : 33
    }
  }
) ;