big sleep

inteligencia artificial

amor y atención cósmicos

fuego en el cielo

una pirámide hecha de hielo

una casa solitaria en el bosque

matrimonio en las montañas

linterna colgando de un árbol en un cementerio brumoso

un sueño vívido

globos sobre las ruinas de una ciudad

la muerte del astrónomo solitario - por moirage

la trágica intimidad de la eterna conversación con uno mismo - por moirage

fuego demoniaco - por WiseNat

gran sueño

¡Ryan Murdock lo ha vuelto a hacer, combinando el CLIP de OpenAI y el generador de un BigGAN! Este repositorio resume su trabajo para que sea fácilmente accesible para cualquiera que posea una GPU.

Podrás hacer que GAN cree imágenes usando lenguaje natural con un comando de una línea en la terminal.

cuaderno original

Cuaderno simplificado

Cuaderno creado por el usuario con correcciones de errores y funciones adicionales, como la integración de Google Drive

Instalar

$ pip install big-sleep

Uso

$ dream " a pyramid made of ice "

Las imágenes se guardarán en cualquier lugar donde se invoque el comando.

Avanzado

Puedes invocar esto en código con

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

Ahora puedes entrenar más de una frase usando el delimitador "|"

Entrene en múltiples frases

En este ejemplo entrenamos en tres frases:

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

¡Penaliza también ciertas indicaciones!

En este ejemplo entrenamos con las tres frases anteriores,

y penalizar las frases:

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

También puede configurar un nuevo texto usando el comando .set_text(<str>)

 dream . set_text ( "a quiet pond underneath the midnight moon" )

Y restablecer las latentes con .reset()

 dream . reset ()

Para guardar la progresión de las imágenes durante el entrenamiento, simplemente debe proporcionar la bandera --save-progress

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

Debido a la naturaleza condicionada por la clase de la GAN, Big Sleep a menudo se desvía del colector hacia el ruido. Puede utilizar una bandera para guardar la imagen con la mejor puntuación (según el crítico CLIP) en {filepath}.best.png en su carpeta.

$ dream " a room with a view of the ocean " --save-best

modelo más grande

Si tiene suficiente memoria, también puede intentar utilizar un modelo de visión más grande lanzado por OpenAI para generaciones mejoradas.

$ dream " storm clouds rolling in over a white barnyard " --larger-model

Experimentación

Puede establecer la cantidad de clases que desea restringir el uso de Big Sleep para Big GAN con el indicador --max-classes de la siguiente manera (por ejemplo, 15 clases). Esto puede conducir a una mayor estabilidad durante el entrenamiento, a costa de una pérdida de expresividad.

$ dream ' a single flower in a withered field ' --max-classes 15

Alternativas

Deep Daze: CLIP y una red SIREN profunda

Citas

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}