เครื่องมือแนะนำการสร้างรูปภาพ/วิดีโอแบบโอเพ่นซอร์ส ControlNeXt โดยทีมงาน Jiajiaya ชาวจีนฮ่องกง เรียกได้ว่าเป็น "สิ่งประดิษฐ์ในการลดน้ำหนัก" ในอุตสาหกรรม AI มีขนาดเล็ก เข้ากันได้อย่างสมบูรณ์แบบกับรุ่นซีรีส์ Stable Diffusion และเป็นแบบ Plug-and-Play ซึ่งช่วยให้กระบวนการดำเนินการง่ายขึ้นอย่างมาก ControlNeXt รองรับโหมดการควบคุมที่หลากหลาย เช่น การนำทางขอบ การควบคุมท่าทาง การมาสก์ และการควบคุมระยะชัดลึก ความสามารถในการควบคุมอันทรงพลังสามารถควบคุมการเคลื่อนไหวการเต้นของ Iron Man ได้อย่างแม่นยำ สิ่งที่น่าทึ่งยิ่งกว่านั้นคือความเร็วในการฝึกฝนและความเร็วในการสร้างนั้นเร็วกว่า ControlNet มาก และประสิทธิภาพของมันก็ได้รับการปรับปรุงอย่างมาก
ControlNeXt รองรับโหมดการควบคุมที่หลากหลาย รวมถึงการนำทางขอบ การควบคุมท่าทาง การมาสก์ และการควบคุมระยะชัดลึก มันยังให้ไอรอนแมนเต้นท่าเต้นที่สวยงามด้วยการเคลื่อนไหวที่แม่นยำจนถึงนิ้วของเขา ซึ่งแสดงให้เห็นถึงความสามารถในการควบคุมอันทรงพลังของเขา
เคล็ดลับของการลดน้ำหนักของ ControlNeXt ก็คือ มันจะกำจัดสาขาควบคุมการกินขนาดใหญ่ใน ControlNet ออกอย่างชาญฉลาด และแทนที่ด้วยแพ็คเกจอาหารมื้อเบาที่ประกอบด้วยบล็อก ResNet จำนวนเล็กน้อย แม้ว่าโมดูลขนาดเล็กและสวยงามนี้จะมีเพียงหนึ่งในสิบของขนาดดั้งเดิม แต่ก็สามารถแยกคุณสมบัติของเงื่อนไขการควบคุมต่างๆ ได้อย่างสมบูรณ์แบบ
ไม่เพียงเท่านั้น ControlNeXt ยังเป็นอัจฉริยะด้านการเรียนรู้อีกด้วย ใช้เวลาเพียง 400 ขั้นตอนในการเรียนรู้ทักษะใหม่ ในขณะที่ ControlNet ใช้เวลาหลายพันขั้นตอน ในแง่ของความเร็วในการสร้าง ControlNeXt นั้นดียิ่งขึ้น โดยนำมาซึ่งความล่าช้าเพียง 10.4% ในขณะที่ ControlNet ต้องใช้เต็ม 41.9%
ทักษะพิเศษอีกอย่างหนึ่งของ ControlNeXt คือการทำให้เป็นมาตรฐานแบบข้าม เทคโนโลยีนี้เปรียบเสมือนการจัดงานปาร์ตี้สำหรับคุณสมบัติต่างๆ เพื่อให้การกระจายข้อมูลสอดคล้องกันมากที่สุดเท่าที่จะเป็นไปได้ ดังนั้นจึงหลีกเลี่ยงความไวของการเริ่มต้นพารามิเตอร์ และปล่อยให้เงื่อนไขการควบคุมมีผลในช่วงเริ่มต้นของการฝึกอบรม
ControlNeXt เปรียบเสมือน Transformer ในโลก AI เล็กและยืดหยุ่นแต่ทรงพลัง ไม่เพียงแต่ช่วยให้เด็กสาวสองมิติเข้ากับแนวควบคุมได้อย่างสมบูรณ์แบบ แต่ยังสร้างตัวละครข้ามมิติที่มีสไตล์ที่แตกต่างกันอีกด้วย ด้วยสิ่งประดิษฐ์นี้ ฉันเชื่อว่าเราจะได้เห็นงานศิลปะ AI ที่น่าทึ่งอีกมากมายเร็วๆ นี้!
หน้าแรกของโครงการ: https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt นำเสนอความเป็นไปได้ใหม่ๆ ในด้านการสร้างภาพ/วิดีโอ AI ด้วยความสามารถในการควบคุมที่มีประสิทธิภาพ น้ำหนักเบา และทรงพลัง ฟีเจอร์โอเพ่นซอร์สยังช่วยให้นักพัฒนาดำเนินการวิจัยและแอปพลิเคชันเชิงลึกได้มากขึ้น ฉันเชื่อว่าจะมีแอปพลิเคชันที่เป็นนวัตกรรมใหม่ ๆ ที่ใช้ ControlNeXt มากขึ้นในอนาคต เรารอคอยที่ ControlNeXt จะส่องแสงในด้านการสร้างสรรค์งานศิลปะ AI!