big sleep

인공지능

우주적인 사랑과 관심

하늘에 불

얼음으로 만든 피라미드

숲 속의 외로운 집

산에서의 결혼

안개가 자욱한 묘지의 나무에 랜턴이 매달려 있다

생생한 꿈

도시 폐허 위의 풍선

외로운 천문학자의 죽음 - 모아라지

자신과의 영원한 대화의 비극적 친밀감 - by moirage

악마의 불 - WiseNat 제작

큰 잠

Ryan Murdock이 OpenAI의 CLIP과 BigGAN의 생성기를 결합하여 다시 한 번 해냈습니다! 이 저장소는 그의 작업을 마무리하므로 GPU를 소유한 사람이라면 누구나 쉽게 접근할 수 있습니다.

터미널에서 한 줄 명령으로 자연어를 사용하여 GAN 드림업 이미지를 만들 수 있습니다.

원본 노트

단순화된 노트

Google 드라이브 통합과 같은 버그 수정 및 추가 기능이 포함된 사용자 제작 노트북

설치하다

$ pip install big-sleep

용법

$ dream " a pyramid made of ice "

명령이 호출되는 위치에 이미지가 저장됩니다.

고급의

다음을 사용하여 코드에서 이를 호출할 수 있습니다.

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

이제 구분 기호 "|"를 사용하여 둘 이상의 구문을 훈련할 수 있습니다.

여러 문구로 학습

이 예에서는 다음 세 가지 문구를 학습합니다.

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

특정 프롬프트에도 페널티를 적용하세요!

이 예에서는 이전의 세 가지 문구를 학습합니다.

다음 문구에 불이익을 줍니다 .

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

.set_text(<str>) 명령을 사용하여 새 텍스트를 설정할 수도 있습니다.

 dream . set_text ( "a quiet pond underneath the midnight moon" )

그리고 .reset() 사용하여 잠재성을 재설정합니다.

 dream . reset ()

훈련 중 이미지 진행 상황을 저장하려면 --save-progress 플래그만 제공하면 됩니다.

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

GAN의 클래스 조건화된 특성으로 인해 Big Sleep은 종종 매니폴드를 소음으로 전환합니다. 플래그를 사용하여 가장 높은 점수를 받은 이미지(CLIP 평론가 기준)를 폴더의 {filepath}.best.png 에 저장할 수 있습니다.

$ dream " a room with a view of the ocean " --save-best

더 큰 모델

메모리가 충분하다면 OpenAI가 향상된 세대를 위해 출시한 더 큰 비전 모델을 사용해 볼 수도 있습니다.

$ dream " storm clouds rolling in over a white barnyard " --larger-model

실험

다음과 같이 --max-classes 플래그를 사용하여 Big GAN에 사용하도록 Big Sleep을 제한하려는 클래스 수를 설정할 수 있습니다(예: 15개 클래스). 이로 인해 표현력이 손실되는 대신 훈련 중에 안정성이 향상될 수 있습니다.

$ dream ' a single flower in a withered field ' --max-classes 15

대안

Deep Daze - CLIP 및 심층 SIREN 네트워크

인용

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}