big sleep

inteligência artificial

amor e atenção cósmicos

fogo no céu

uma pirâmide feita de gelo

uma casa solitária na floresta

casamento nas montanhas

lanterna pendurada em uma árvore em um cemitério nebuloso

um sonho vívido

balões sobre as ruínas de uma cidade

a morte do astrônomo solitário - por moirage

a trágica intimidade da eterna conversa consigo mesmo - por moirage

fogo demoníaco - por WiseNat

Grande sono

Ryan Murdock fez isso de novo, combinando o CLIP da OpenAI e o gerador de um BigGAN! Este repositório encerra seu trabalho para que seja facilmente acessível a qualquer pessoa que possua uma GPU.

Você poderá fazer com que o GAN sonhe com imagens usando linguagem natural com um comando de uma linha no terminal.

Caderno original

Caderno simplificado

Notebook feito pelo usuário com correções de bugs e recursos adicionais, como integração com o Google Drive

Instalar

$ pip install big-sleep

Uso

$ dream " a pyramid made of ice "

As imagens serão salvas onde quer que o comando seja invocado

Avançado

Você pode invocar isso no código com

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

Agora você pode treinar mais de uma frase usando o delimitador "|"

Treine em várias frases

Neste exemplo treinamos em três frases:

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

Penalize certas instruções também!

Neste exemplo, treinamos nas três frases anteriores,

e penalizar as frases:

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

Você também pode definir um novo texto usando o comando .set_text(<str>)

 dream . set_text ( "a quiet pond underneath the midnight moon" )

E redefina as latentes com .reset()

 dream . reset ()

Para salvar a progressão das imagens durante o treinamento, basta fornecer o sinalizador --save-progress

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

Devido à natureza condicionada de classe do GAN, o Big Sleep muitas vezes desvia do coletor para o ruído. Você pode usar um sinalizador para salvar a imagem com melhor pontuação (por crítico do CLIP) em {filepath}.best.png em sua pasta.

$ dream " a room with a view of the ocean " --save-best

Modelo maior

Se você tiver memória suficiente, também pode tentar usar um modelo de visão maior lançado pela OpenAI para gerações melhoradas.

$ dream " storm clouds rolling in over a white barnyard " --larger-model

Experimentação

Você pode definir o número de classes que deseja restringir o uso do Big Sleep para o Big GAN com o sinalizador --max-classes da seguinte forma (ex. 15 classes). Isto pode levar a uma estabilidade extra durante o treino, ao custo da perda de expressividade.

$ dream ' a single flower in a withered field ' --max-classes 15

Alternativas

Deep Daze - CLIP e uma rede SIREN profunda

Citações

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}