big sleep

人工智慧

宇宙的愛與關注

天空中的火

冰金字塔

樹林裡一棟孤獨的房子

山裡結婚

霧濛濛的墓地裡，一棵樹上掛著燈籠

一個生動的夢

城市廢墟上空的氣球

孤獨的天文學家之死－莫拉奇

與自己永恆對話的悲慘親密－作者：moirage

惡魔之火- by WiseNat

大睡

Ryan Murdock 再次做到了這一點，結合了 OpenAI 的 CLIP 和 BigGAN 的生成器！這個儲存庫總結了他的工作，因此擁有 GPU 的任何人都可以輕鬆存取。

您將能夠透過終端機中的一行命令使用自然語言讓 GAN 想像出圖像。

原廠筆記本

簡化筆記本

用戶製作的筆記本，修復了錯誤並添加了功能，例如穀歌驅動器集成

安裝

$ pip install big-sleep

用法

$ dream " a pyramid made of ice "

圖像將保存到調用命令的任何位置

先進的

您可以在程式碼中調用它

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

現在您可以使用分隔符號“|”訓練多個短語

訓練多個短語

在此範例中，我們訓練三個短語：

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

對某些提示也進行懲罰！

在這個例子中，我們訓練之前的三個短語，

並懲罰以下短語：

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

您也可以使用.set_text(<str>)命令來設定新文本

 dream . set_text ( "a quiet pond underneath the midnight moon" )

並使用.reset()重置潛在變量

 dream . reset ()

要在訓練期間保存影像的進度，您只需提供--save-progress標誌

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

由於 GAN 的類別條件性質，Big Sleep 通常會避開流形而陷入雜訊。您可以使用標誌將最佳高分影像（根據 CLIP 評論家）保存到資料夾中的{filepath}.best.png 。

$ dream " a room with a view of the ocean " --save-best

較大型號

如果你有足夠的內存，你也可以嘗試使用OpenAI發布的更大的視覺模型來改進世代。

$ dream " storm clouds rolling in over a white barnyard " --larger-model

實驗

您可以使用--max-classes標誌設定希望限制 Big Sleep 用於 Big GAN 的類別數量，如下所示（例如 15 個類別）。這可能會導致訓練期間額外的穩定性，但代價是失去表達能力。

$ dream ' a single flower in a withered field ' --max-classes 15

替代方案

Deep Daze - CLIP 與深度 SIREN 網絡

引文

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}