การแพร่กระจายของดิสโก้
การรวมกันของแฟรงเกนสไตน์ของโน้ตบุ๊กโมเดลและเทคนิคสำหรับการสร้างงานศิลปะ AI และแอนิเมชั่น
[จะได้รับการอัปเดตพร้อมข้อมูลเพิ่มเติมเร็ว ๆ นี้]
การบริจาค
โครงการนี้ใช้เครื่องมือแปลงพิเศษเพื่อแปลงไฟล์ Python เป็นสมุดบันทึกเพื่อการพัฒนาที่ง่ายขึ้น
สิ่งนี้หมายความว่าคุณไม่จำเป็นต้องแตะสมุดบันทึกโดยตรงเพื่อทำการเปลี่ยนแปลง
เครื่องมือที่ใช้เรียกว่า colab-convert
- ติดตั้งโดยใช้
pip install colab-convert - แปลง .py เป็น. ipynb
colab-convert /path/to/file.py /path/to/file.ipynb - แปลง. ipynb เป็น. py
colab-convert /path/to/file.ipynb /path/to/file.py
การเปลี่ยนแปลง
v1 ต.ค. 29 2021 - Somnai
- เพิ่มการปรับปรุง QOL เริ่มต้นรวมถึง UI ที่เป็นมิตรกับผู้ใช้การตั้งค่า+การบันทึกที่รวดเร็วและปรับปรุงองค์กรโฟลเดอร์ Google Drive
v1.1 13 พ.ย. 2021 - Somnai
- ตอนนี้รวมถึงตัวเลือกการปรับขนาดการบันทึกระดับกลางและการแจ้งเตือนภาพคงที่และ Perlin Inits ตัวเลือกแบทช์ที่ยังไม่ได้ใช้งานเนื่องจากไม่ได้ผล
อัปเดต v2: 22 พ.ย. 2021 - Somnai
- การเพิ่มวิธีการรุ่นรองของ Katherine Crowson (https://colab.research.google.com/drive/1mpkrhojoyzpeswy2r7t8eyrau7amyooi#scrollto=x5godnameucr)
- แก้ไขไฟล์การตั้งค่าที่ไม่ถูกต้อง
อัปเดต v3: 24 ธ.ค. 2021 - Somnai
- ใช้วิธีคัตเอาท์ขั้นสูงของ Dango
- เพิ่มโมเดลสลิปขอบคุณ NeuralDivergent
- แก้ไขปัญหากับ NANs ทำให้เกิดภาพสีดำด้วยความช่วยเหลือและการทดสอบจำนวนมากจาก @Softology
- ตอนนี้ Perlin เปลี่ยนไปอย่างถูกต้องภายในแบทช์ (ไม่แน่ใจว่ารหัส Perlin_regen นี้มาจากเดิม แต่ขอขอบคุณ)
อัปเดต v4: ม.ค. 2022 - Somnai
- ดำเนินการซูมการแพร่กระจาย
- เพิ่ม chigozie keyframing
- ทำการแก้ไขหลายอย่างเพื่อกระบวนการ
v4.1 อัปเดต: 14 ม.ค. 2022 - Somnai
- เพิ่มโหมดอินพุตวิดีโอ
- เพิ่มใบอนุญาตที่หายไปอย่างใด
- เพิ่ม KeyFraming พรอมต์ที่ได้รับการปรับปรุง, image_prompts คงที่และพรอมต์หลายรายการ
- ปรับปรุง UI
- มีความสำคัญภายใต้การทำความสะอาดฝากระโปรงและการปรับปรุง
- ค่าเริ่มต้นกลั่นสำหรับแต่ละโหมด
- ลบโมเดลสลิปในขณะนี้เนื่องจากความขัดแย้งในการนำเข้า
- เพิ่ม superres ที่แฝงอยู่สำหรับการลับคม
- เพิ่มโหมด Resume Run
อัปเดต v5: 20 ก.พ. 2022 - Gandamu / Adam Letts
- เพิ่มโหมดภาพเคลื่อนไหว 3 มิติ ใช้การผสมผสานแบบถ่วงน้ำหนักของแบบจำลองการประมาณความลึกของ Adabins และ Midas ใช้ pytorch3d สำหรับการแปลง 3D บน colab และ/หรือ linux
V5.1 UPDATE: 30 มี.ค. 2022 - Zippy / Chris Allen และ Gandamu / Adam Lotts
- คุณสมบัติ Turbo+Smooth Integrated จาก Disco Diffusion Turbo - เพียงแค่การใช้งานโดยไม่มีค่าเริ่มต้น
- ดำเนินการประวัติย่อของแอนิเมชั่นเทอร์โบในลักษณะที่ตอนนี้เป็นไปได้ที่จะกลับมาทำงานจากโฟลเดอร์และหมายเลขแบทช์ที่แตกต่างกัน
- ตอนนี้หน่วยพารามิเตอร์การหมุน 3D เป็นองศา (แทนที่จะเป็นเรเดียน)
- การชนชื่อที่แก้ไขใน Sampling_Mode (ตอนนี้ diffusion_sampling_mode สำหรับ PLMS/DDIM และ Sampling_Mode สำหรับการสุ่มตัวอย่าง 3D แปลง
- เพิ่ม video_init_seed_continuity ตัวเลือกเพื่อให้ภาพเคลื่อนไหววิดีโอเริ่มต้นต่อเนื่องมากขึ้น
- ลบ pytorch3d ออกจากความต้องการที่จะรวบรวมด้วยเวอร์ชัน lite ที่ทำขึ้นโดยเฉพาะสำหรับการแพร่กระจายของดิสโก้
- ลบความละเอียดสุดยอด
- ลบโมเดลสลิป
- อัปเดตสำหรับการสนับสนุน crossplatform
V5.1 UPDATE: 4 เม.ย. 2022 - MSFTSERVER AKA HOSTSSERVER
- ลบ pytorch3d ออกจากความต้องการที่จะรวบรวมด้วยเวอร์ชัน lite ที่ทำขึ้นโดยเฉพาะสำหรับการแพร่กระจายของดิสโก้
- ลบความละเอียดสุดยอด
- ลบโมเดลสลิป
- อัปเดตสำหรับการสนับสนุน crossplatform
V5.2 UPDATE: 10 เม.ย. 2022 - NIN_ARTIFICIAL / TOM MASON
V5.3 อัปเดต: 10 มิ.ย. 2022 - Nshepperd, Huemin, cut_pow
- ความสมมาตรในแนวนอนและแนวตั้ง
- การเพิ่ม VIT-L/14@336PX รุ่น (ต้องใช้ VRAM สูง)
V5.4 อัปเดต: 14 มิ.ย. 2022 - Devdef / Alex Spirin รวมเข้ากับ DD Main โดย Gandamu / Adam Letts
- โหมดวาร์ป - สำหรับผลลัพธ์อินพุตวิดีโอที่ราบรื่น/ต่อเนื่องใช้ประโยชน์จากการประมาณค่าการไหลของแสงและการผสมเฟรม
- รองรับแบบจำลองที่กำหนดเอง
V5.5 UPDATE: 11 ก.ค. 2022 - Palmweaver / Chris Scalf, Kaliyuga_ai, การบูรณาการเพิ่มเติมโดย Gandamu / Adam Letts
- การรวมโมเดล OpenCLip
- การแพร่กระจายของพิกเซลการแพร่กระจายสีน้ำและแบบจำลองการแพร่กระจายของเยื่อกระดาษ scifi
- การกำหนดเวลา cut_ic_pow
V5.6 UPDATE: 13 ก.ค. 2022 - Felipe3Dartist, บูรณาการโดย Gandamu / Adam Letts
- Integrated Portrait_Generator_v001 - 512x512 รูปแบบการแพร่กระจายที่ผ่านการฝึกอบรมบนใบหน้า - จาก felipe3dartist
V5.7 UPDATE: 31 ธันวาคม 2022 - Steffen Moelter (พร้อมการรวม colab -convert เล็กน้อยโดย Gandamu)
- Clone Midas V3 โดยเฉพาะ วิธีนี้แก้ไขโหมด 3D มันถูกทำลายตั้งแต่ Midas v3.1 แนะนำความไม่ลงรอยกัน
Provenance
สมุดบันทึกต้นฉบับโดย Katherine Crowson (https://github.com/crowsonkb, https://twitter.com/rivershavewings) มันใช้ ImageNet หรือ Katherine Crowson ที่ได้รับการปรับแต่งของ Openai หรือโมเดลการแพร่กระจายของ Katherine Crowson 512x512 (https://github.com/openai/Guided-diffusion) พร้อมกับคลิป (https://github.com/openai/clip) ข้อความแจ้งด้วยรูปภาพ
ดัดแปลงโดย Daniel Russell (https://github.com/russelldc, https://twitter.com/danielrussruss) เพื่อรวม (หวังว่า) params ที่ดีที่สุดสำหรับคนรุ่นใหม่ใน 15-100 timesteps มากกว่า 1,000 .
การปรับปรุงเพิ่มเติมจาก Dango233 และ Nshepperd ช่วยปรับปรุงคุณภาพของการแพร่กระจายโดยทั่วไปและโดยเฉพาะอย่างยิ่งสำหรับการวิ่งที่สั้นลงเช่นสมุดบันทึกนี้มีจุดมุ่งหมายเพื่อให้บรรลุ
Vark เพิ่มรหัสเพื่อโหลดในหลายรุ่นคลิปพร้อมกันซึ่งมีการประเมินทั้งหมดซึ่งอาจประเมินความแม่นยำอย่างมาก
คุณสมบัติซูมล่าสุดแพนการหมุนและคีย์เฟรมนำมาจากสมุดบันทึก VQGan Zoom ของ Chigozie Nri (https://github.com/chigozienri, https://twitter.com/chigozienri)
วิธีการคัตเอาท์ DangoCutn ขั้นสูงก็มาจาก Dango223
-
Somnai (https://twitter.com/somnai_dreams) เพิ่มเทคนิคภาพเคลื่อนไหวการแพร่กระจาย 2D การปรับปรุง QoL และการใช้งานเทคโนโลยีและเทคนิคต่าง ๆ ซึ่งส่วนใหญ่อยู่ใน changelog ด้านล่าง
การใช้แอนิเมชั่น 3D เพิ่มโดย Adam Lotts (https://twitter.com/gandamu_ml) โดยร่วมมือกับ Somnai
คุณสมบัติ Turbo โดย Chris Allen (https://twitter.com/zippy731)
การปรับปรุงความสามารถในการทำงานบนระบบท้องถิ่นการสนับสนุน Windows และการติดตั้งการพึ่งพาโดย HostsServer (https://twitter.com/hostsserver)
โหมด VR โดย Tom Mason (https://twitter.com/nin_artificial)
ฟังก์ชั่นสมมาตรแนวนอนและแนวตั้งโดย Nshepperd Symmetry transformation_steps โดย huemin (https://twitter.com/huemin_art) การรวมสมมาตรเข้ากับการแพร่กระจายของดิสโก้โดย dmitrii tochilkin (https://twitter.com/cut_pow)
การสนับสนุนแบบจำลองและแบบกำหนดเองโดย Alex Spirin (https://twitter.com/devdef)
การแพร่กระจายของพิกเซล, การแพร่กระจายสีน้ำและรูปแบบการแพร่กระจายของเยื่อกระดาษ Scifi จาก Kaliyuga (https://twitter.com/kaliyuga_ai) ติดตาม Twitter ของ Kaliyuga สำหรับรุ่นล่าสุดและสำหรับสมุดบันทึกที่มีการตั้งค่าพิเศษ
การรวมโมเดล OpenCLIP และการเริ่มต้นของการรวมโมเดล Kaliyuga โดย Palmweaver/Chris Scalf (https://twitter.com/chrisscalf11)
Integrated Portrait_Generator_v001 จาก felipe3dartist (https://twitter.com/felipe3dartist)
Midas Version Tag Fix โดย Steffen Moelter (มีการแก้ไขโหมดแอนิเมชั่น 3 มิติหลังจากแนะนำ Midas v3.1)
