big sleep

ปัญญาประดิษฐ์

ความรักและความสนใจของจักรวาล

ไฟในท้องฟ้า

ปิรามิดที่ทำจากน้ำแข็ง

บ้านโดดเดี่ยวในป่า

การแต่งงานในภูเขา

โคมไฟห้อยลงมาจากต้นไม้ในสุสานที่เต็มไปด้วยหมอก

ความฝันอันสดใส

ลูกโป่งอยู่เหนือซากปรักหักพังของเมือง

การตายของนักดาราศาสตร์ผู้โดดเดี่ยว - โดย moirage

ความใกล้ชิดอันน่าสลดใจของการสนทนาชั่วนิรันดร์กับตัวเอง - โดย moirage

ไฟปีศาจ - โดย WiseNat

บิ๊กสลีป

Ryan Murdock ทำมันอีกครั้ง โดยผสมผสาน CLIP ของ OpenAI และเครื่องกำเนิดจาก BigGAN! พื้นที่เก็บข้อมูลนี้สรุปงานของเขาเพื่อให้ทุกคนที่เป็นเจ้าของ GPU สามารถเข้าถึงได้ง่าย

คุณจะสามารถให้ GAN วาดภาพโดยใช้ภาษาธรรมชาติด้วยคำสั่งบรรทัดเดียวในเทอร์มินัล

สมุดบันทึกต้นฉบับ

สมุดบันทึกแบบง่าย

สมุดบันทึกที่ผู้ใช้สร้างขึ้นพร้อมการแก้ไขข้อบกพร่องและฟีเจอร์เพิ่มเติม เช่น การรวม Google ไดรฟ์

ติดตั้ง

$ pip install big-sleep

การใช้งาน

$ dream " a pyramid made of ice "

รูปภาพจะถูกบันทึกไว้ทุกที่ที่มีการเรียกใช้คำสั่ง

ขั้นสูง

คุณสามารถเรียกใช้สิ่งนี้ในโค้ดด้วย

 from big_sleep import Imagine

dream = Imagine (
    text = "fire in the sky" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

ตอนนี้คุณสามารถฝึกได้มากกว่าหนึ่งวลีโดยใช้ตัวคั่น "|"

ฝึกฝนหลายวลี

ในตัวอย่างนี้ เราฝึกสามวลี:

• an armchair in the form of pikachu
• an armchair imitating pikachu
• abstract

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    lr = 5e-2 ,
    save_every = 25 ,
    save_progress = True
)

dream ()

ลงโทษการแจ้งเตือนบางอย่างเช่นกัน!

ในตัวอย่างนี้ เราฝึกสามวลีจากก่อนหน้านี้

และ ลงโทษ ประโยคที่ว่า

• blur
• zoom

 from big_sleep import Imagine

dream = Imagine (
    text = "an armchair in the form of pikachu|an armchair imitating pikachu|abstract" ,
    text_min = "blur|zoom" ,
)
dream ()

คุณยังสามารถตั้งค่าข้อความใหม่ได้โดยใช้คำสั่ง .set_text(<str>)

 dream . set_text ( "a quiet pond underneath the midnight moon" )

และรีเซ็ตค่าแฝงด้วย .reset()

 dream . reset ()

หากต้องการบันทึกความคืบหน้าของภาพระหว่างการฝึก คุณเพียงแค่ต้องระบุ --save-progress flag

$ dream " a bowl of apples next to the fireplace " --save-progress --save-every 100

เนื่องจากลักษณะที่มีเงื่อนไขของ GAN ทำให้ Big Sleep มักจะตัดเสียงรบกวนจากท่อร่วมไอดี คุณสามารถใช้แฟล็กเพื่อบันทึกรูปภาพที่ได้คะแนนสูงที่สุด (ตามคำวิจารณ์ของ CLIP) ลงใน {filepath}.best.png ในโฟลเดอร์ของคุณ

$ dream " a room with a view of the ocean " --save-best

รุ่นใหญ่

หากคุณมีหน่วยความจำเพียงพอ คุณสามารถลองใช้โมเดลการมองเห็นที่ใหญ่กว่าซึ่งออกโดย OpenAI เพื่อรุ่นที่ปรับปรุงแล้วได้

$ dream " storm clouds rolling in over a white barnyard " --larger-model

การทดลอง

คุณสามารถกำหนดจำนวนคลาสที่คุณต้องการจำกัด Big Sleep เพื่อใช้สำหรับ Big GAN ด้วยแฟล็ก --max-classes ดังต่อไปนี้ (เช่น 15 คลาส) สิ่งนี้อาจนำไปสู่ความมั่นคงเป็นพิเศษระหว่างการฝึก โดยสูญเสียการแสดงออก

$ dream ' a single flower in a withered field ' --max-classes 15

ทางเลือก

Deep Daze - คลิปและเครือข่าย SIREN แบบลึก

การอ้างอิง

 @misc { unpublished2021clip ,
    title  = { CLIP: Connecting Text and Images } ,
    author = { Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal } ,
    year   = { 2021 }
}

 @misc { brock2019large ,
    title   = { Large Scale GAN Training for High Fidelity Natural Image Synthesis } , 
    author  = { Andrew Brock and Jeff Donahue and Karen Simonyan } ,
    year    = { 2019 } ,
    eprint  = { 1809.11096 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.LG }
}