big sleep

الذكاء الاصطناعي

الحب والاهتمام الكوني

نار في السماء

هرم مصنوع من الجليد

منزل وحيد في الغابة

الزواج في الجبال

فانوس يتدلى من شجرة في مقبرة ضبابية

حلم حي

بالونات فوق أنقاض المدينة

موت عالم الفلك المنعزل - بتموج في النسيج

العلاقة الحميمة المأساوية للمحادثة الأبدية مع الذات - من خلال تموج النسيج

نار الشيطان – بواسطة WiseNat

النوم الكبير

لقد فعلها Ryan Murdock مرة أخرى، حيث جمع بين OpenAI's CLIP والمولد من BigGAN! يختتم هذا المستودع عمله بحيث يمكن لأي شخص يمتلك وحدة معالجة الرسومات الوصول إليه بسهولة.

ستكون قادرًا على جعل GAN يحلم بالصور باستخدام اللغة الطبيعية من خلال أمر من سطر واحد في الجهاز.

دفتر اصلي

دفتر مبسط

دفتر ملاحظات من صنع المستخدم مزود بإصلاحات الأخطاء والميزات المضافة، مثل تكامل محرك جوجل

ثَبَّتَ

$ pip install big-sleep

الاستخدام

$ dream " a pyramid made of ice "

سيتم حفظ الصور في أي مكان يتم فيه استدعاء الأمر

متقدم

يمكنك استدعاء هذا في التعليمات البرمجية باستخدام

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

يمكنك الآن تدريب أكثر من عبارة باستخدام الفاصل "|"

التدريب على عبارات متعددة

في هذا المثال نتدرب على ثلاث عبارات:

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

معاقبة بعض المطالبات كذلك!

في هذا المثال نتدرب على العبارات الثلاثة السابقة،

ومعاقبة العبارات :

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

يمكنك أيضًا تعيين نص جديد باستخدام الأمر .set_text(<str>)

 dream . set_text ( "a quiet pond underneath the midnight moon" )

وقم بإعادة ضبط العناصر الكامنة باستخدام .reset()

 dream . reset ()

لحفظ تقدم الصور أثناء التدريب، ما عليك سوى توفير علامة --save-progress

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

نظرًا لطبيعة GAN المشروطة طبقيًا، غالبًا ما يقوم Big Sleep بإبعاد المشعب عن الضوضاء. يمكنك استخدام علامة لحفظ أفضل صورة ذات نقاط عالية (لكل ناقد CLIP) إلى {filepath}.best.png في المجلد الخاص بك.

$ dream " a room with a view of the ocean " --save-best

نموذج أكبر

إذا كان لديك ذاكرة كافية، فيمكنك أيضًا تجربة استخدام نموذج رؤية أكبر تم إصداره بواسطة OpenAI لأجيال محسنة.

$ dream " storm clouds rolling in over a white barnyard " --larger-model

التجريب

يمكنك تعيين عدد الفئات التي ترغب في تقييد Big Sleep لاستخدامها في Big GAN باستخدام علامة --max-classes على النحو التالي (على سبيل المثال، 15 فئة). قد يؤدي هذا إلى مزيد من الاستقرار أثناء التدريب، على حساب فقدان القدرة على التعبير.

$ dream ' a single flower in a withered field ' --max-classes 15

البدائل

Deep Daze - CLIP وشبكة SIREN العميقة

الاستشهادات

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}