big sleep

künstliche Intelligenz

kosmische Liebe und Aufmerksamkeit

Feuer am Himmel

eine Pyramide aus Eis

ein einsames Haus im Wald

Heiraten in den Bergen

Laterne baumelt an einem Baum auf einem nebligen Friedhof

ein lebendiger Traum

Luftballons über den Ruinen einer Stadt

der Tod des einsamen Astronomen – durch Moirage

die tragische Intimität des ewigen Gesprächs mit sich selbst – durch Moirage

Dämonenfeuer – von WiseNat

Großer Schlaf

Ryan Murdock hat es erneut geschafft und den CLIP von OpenAI mit dem Generator eines BigGAN kombiniert! Dieses Repository fasst seine Arbeit zusammen, sodass es für jeden, der eine GPU besitzt, leicht zugänglich ist.

Sie können das GAN mit einem einzeiligen Befehl im Terminal in natürlicher Sprache Bilder ausdenken lassen.

Originales Notizbuch

Vereinfachtes Notizbuch

Vom Benutzer erstelltes Notizbuch mit Fehlerbehebungen und zusätzlichen Funktionen, wie z. B. Google Drive-Integration

Installieren

$ pip install big-sleep

Verwendung

$ dream " a pyramid made of ice "

Bilder werden dort gespeichert, wo der Befehl aufgerufen wird

Fortschrittlich

Sie können dies im Code mit aufrufen

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

Sie können jetzt mehr als eine Phrase trainieren, indem Sie das Trennzeichen „|“ verwenden.

Trainieren Sie mehrere Sätze

In diesem Beispiel trainieren wir anhand von drei Sätzen:

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

Bestrafen Sie auch bestimmte Eingabeaufforderungen!

In diesem Beispiel trainieren wir die drei Sätze von zuvor:

und bestrafen Sie die Sätze:

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

Sie können auch einen neuen Text festlegen, indem Sie den Befehl .set_text(<str>) verwenden

 dream . set_text ( "a quiet pond underneath the midnight moon" )

Und setzen Sie die latenten Werte mit .reset() zurück

 dream . reset ()

Um den Fortschritt der Bilder während des Trainings zu speichern, müssen Sie lediglich das Flag --save-progress angeben

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

Aufgrund der klassenbedingten Natur des GAN steuert Big Sleep häufig von der Mannigfaltigkeit ins Rauschen. Sie können ein Flag verwenden, um das beste Bild mit der höchsten Punktzahl (pro CLIP-Kritiker) in {filepath}.best.png in Ihrem Ordner zu speichern.

$ dream " a room with a view of the ocean " --save-best

Größeres Modell

Wenn Sie über genügend Speicher verfügen, können Sie auch versuchen, ein größeres Vision-Modell zu verwenden, das von OpenAI für verbesserte Generationen veröffentlicht wurde.

$ dream " storm clouds rolling in over a white barnyard " --larger-model

Experimentieren

Sie können die Anzahl der Klassen, die Big Sleep für das Big GAN verwenden soll, mit dem Flag --max-classes wie folgt festlegen (z. B. 15 Klassen). Dies kann zu zusätzlicher Stabilität während des Trainings führen, allerdings auf Kosten der Ausdruckskraft.

$ dream ' a single flower in a withered field ' --max-classes 15

Alternativen

Deep Daze – CLIP und ein tiefes SIREN-Netzwerk

Zitate

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}