big sleep

人工知能

宇宙の愛と注目

空の火

氷でできたピラミッド

森の中の寂しい家

山の中での結婚

霧の墓地の木からぶら下がっているランタン

鮮やかな夢

都市の廃墟の上の気球

孤独な天文学者の死- モアレジュより

自分自身との永遠の会話の悲劇的な親密さ- モアレジュによる

悪魔の火- WiseNat 著

ビッグスリープ

Ryan Murdock は、OpenAI の CLIP と BigGAN のジェネレーターを組み合わせて、これを再び実行しました。このリポジトリには彼の作業がまとめられているため、GPU を所有している人なら誰でも簡単にアクセスできます。

ターミナルで 1 行のコマンドを実行するだけで、自然言語を使用して GAN に画像を作成させることができます。

オリジナルノート

簡易ノート

バグ修正と Google ドライブ統合などの追加機能を備えたユーザー作成のノートブック

インストール

$ pip install big-sleep

使用法

$ dream " a pyramid made of ice "

画像はコマンドが呼び出された場所に保存されます

高度な

これをコードで呼び出すことができます

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

区切り文字「|」を使用して複数のフレーズをトレーニングできるようになりました。

複数のフレーズでトレーニングする

この例では、次の 3 つのフレーズをトレーニングします。

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

特定のプロンプトにもペナルティを与えます。

この例では、前の 3 つのフレーズをトレーニングします。

そして次のフレーズにペナルティを与えます。

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

.set_text(<str>)コマンドを使用して新しいテキストを設定することもできます。

 dream . set_text ( "a quiet pond underneath the midnight moon" )

そして.reset()で潜在をリセットします

 dream . reset ()

トレーニング中に画像の進行状況を保存するには、 --save-progressフラグを指定するだけです。

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

GAN のクラス条件付きの性質により、Big Sleep はしばしば多様体をノイズの中に誘導します。フラグを使用して、最高の高スコア画像 (CLIP 批評家による) をフォルダー内の{filepath}.best.pngに保存できます。

$ dream " a room with a view of the ocean " --save-best

大型モデル

十分なメモリがある場合は、OpenAI が改良世代向けにリリースした、より大きなビジョン モデルを使用してみることもできます。

$ dream " storm clouds rolling in over a white barnyard " --larger-model

実験

次のように--max-classesフラグを使用して、Big GAN に使用する Big Sleep を制限するクラスの数を設定できます (例: 15 クラス)。これにより、表現力が失われる代わりに、トレーニング中の安定性がさらに高まる可能性があります。

$ dream ' a single flower in a withered field ' --max-classes 15

代替案

Deep Daze - CLIP とディープ SIREN ネットワーク

引用

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}