big sleep

искусственный интеллект

космическая любовь и внимание

огонь в небе

пирамида изо льда

одинокий дом в лесу

свадьба в горах

фонарь, свисающий с дерева на туманном кладбище

яркий сон

воздушные шары над руинами города

смерть одинокого астронома - мураж

трагическая близость вечного разговора с самим собой - муараж

демон огня - от WiseNat

Большой сон

Райан Мердок сделал это снова, объединив CLIP OpenAI и генератор BigGAN! Этот репозиторий завершает его работу, поэтому он легко доступен любому, у кого есть графический процессор.

Вы сможете создавать изображения GAN на естественном языке с помощью однострочной команды в терминале.

Оригинальный блокнот

Упрощенный блокнот

Созданный пользователем блокнот с исправлениями ошибок и дополнительными функциями, такими как интеграция с Google Диском.

Установить

$ pip install big-sleep

Использование

$ dream " a pyramid made of ice "

Изображения будут сохранены там, где вызывается команда.

Передовой

Вы можете вызвать это в коде с помощью

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

Теперь вы можете обучать более одной фразы, используя разделитель «|».

Тренируйтесь на нескольких фразах

В этом примере мы тренируемся на трех фразах:

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

Также наказывайте определенные подсказки!

В этом примере мы тренируемся на трех фразах из предыдущего:

и наказать фразами:

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

Вы также можете установить новый текст с помощью команды .set_text(<str>)

 dream . set_text ( "a quiet pond underneath the midnight moon" )

И сбросьте скрытые значения с помощью .reset()

 dream . reset ()

Чтобы сохранить прогресс изображений во время обучения, вам просто нужно указать флаг --save-progress

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

Из-за обусловленной классом природы GAN, Big Sleep часто переключает коллектор в шум. Вы можете использовать флаг, чтобы сохранить изображение с лучшим рейтингом (по каждому критику CLIP) в {filepath}.best.png в вашей папке.

$ dream " a room with a view of the ocean " --save-best

Модель большего размера

Если у вас достаточно памяти, вы также можете попробовать использовать более крупную модель видения, выпущенную OpenAI для улучшенных поколений.

$ dream " storm clouds rolling in over a white barnyard " --larger-model

Экспериментирование

Вы можете установить количество классов, которые вы хотите ограничить Big Sleep для Big GAN, с помощью флага --max-classes следующим образом (например, 15 классов). Это может привести к дополнительной стабильности во время тренировки за счет потери выразительности.

$ dream ' a single flower in a withered field ' --max-classes 15

Альтернативы

Deep Daze — CLIP и глубокая сеть SIREN

Цитаты

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}