Apple เพิ่งเปิดตัววิธีการสร้างรูปภาพและวิดีโอใหม่ที่เรียกว่า Matryoshka Diffusion Models (MDM) เทคโนโลยีที่ก้าวล้ำนี้มีชื่อเรียกอย่างชัดเจนว่า "Matryoshka Diffusion Model" โดยแกนหลักอยู่ที่การซ้อนโครงสร้างขนาดเล็กภายในโครงสร้างขนาดใหญ่ ตุ๊กตาแม่ลูกดกรัสเซีย บรรณาธิการของ Downcodes จะทำให้คุณมีความเข้าใจเชิงลึกเกี่ยวกับนวัตกรรมของเทคโนโลยีนี้ และผลกระทบเชิงปฏิวัติในด้านการสร้างภาพ AI
เมื่อเร็ว ๆ นี้ Apple ยักษ์ใหญ่ด้านเทคโนโลยีได้แสดงให้เห็นถึงความสามารถด้านนวัตกรรมทางเทคโนโลยีที่แข็งแกร่งอีกครั้งและเปิดตัววิธีการสร้างรูปภาพและวิดีโอใหม่ที่เรียกว่า Matryoshka Diffusion Models (MDM) เทคโนโลยีที่ก้าวล้ำนี้เรียกว่า Matryoshka Diffusion Model อย่างชัดเจน
ชื่อของ MDM มาจากตุ๊กตา Matryoshka ของรัสเซีย ชื่อที่ชาญฉลาดนี้ไม่เพียงแต่เต็มไปด้วยความสนุกสนาน แต่ยังสะท้อนถึงแนวคิดหลักทางเทคนิคของมัน นั่นคือ การซ้อนโครงสร้างขนาดเล็กภายในโครงสร้างขนาดใหญ่ เช่นเดียวกับตุ๊กตาทำรังแต่ละตัวซ่อนตุ๊กตาทำรังที่มีขนาดเล็กกว่าแต่มีความละเอียดอ่อนไม่แพ้กัน MDM สามารถประมวลผลภาพที่ความละเอียดต่างกันไปพร้อมๆ กัน ทำให้เกิดการสร้างภาพที่ไร้รอยต่อตั้งแต่ภาพร่างที่มีความละเอียดต่ำไปจนถึงรายละเอียดที่มีความละเอียดสูง
ความงดงามของแนวทางที่เป็นนวัตกรรมนี้อยู่ที่ความสามารถในการจัดการการประมวลผลภาพที่ความละเอียดหลายระดับไปพร้อมๆ กัน ลองนึกภาพว่ามีกลุ่มจิตรกรที่มีทักษะสูงกลุ่มหนึ่งซึ่งแต่ละคนมุ่งความสนใจไปที่พื้นที่ผืนผ้าใบที่แตกต่างกันแต่ทำงานร่วมกันเพื่อสร้างงานศิลปะที่สวยงาม MDM ใช้เทคโนโลยีการลดสัญญาณรบกวนร่วมที่ความละเอียดหลายระดับเพื่อทำให้ภาพที่สร้างขึ้นมีรายละเอียดครบถ้วนและสมจริงยิ่งขึ้น ซึ่งช่วยปรับปรุงคุณภาพโดยรวมของภาพได้อย่างมาก
สถาปัตยกรรมหลักของ MDM เรียกว่า NestedUNet และแนวคิดการออกแบบนี้ช่วยเสริมแนวคิดเรื่องตุ๊กตาทำรังให้แข็งแกร่งยิ่งขึ้น ในสถาปัตยกรรมนี้ แต่ละระดับจะมีโครงสร้างพื้นฐานที่เล็กกว่าแต่ใช้งานได้ครบถ้วน เช่นเดียวกับตุ๊กตาทำรังแต่ละตัวที่มีความเป็นอิสระและสมบูรณ์ การออกแบบที่เป็นเอกลักษณ์นี้ช่วยให้ MDM สามารถใช้คุณสมบัติและพารามิเตอร์ระดับสูงได้อย่างเต็มที่เมื่อประมวลผลอินพุตขนาดเล็ก ดังนั้นจึงบรรลุกระบวนการการเรียนรู้และการสร้างที่มีประสิทธิภาพมากขึ้น
ในปัจจุบัน โมเดลการสร้างรูปภาพและวิดีโอคุณภาพสูงมักเผชิญกับความท้าทายด้านการคำนวณและการเพิ่มประสิทธิภาพอย่างมาก วิธีการแบบดั้งเดิมจะสร้างแบบขั้นตอนที่ระดับพิกเซลหรือฝึกโมเดลรูปภาพที่ถูกบีบอัดก่อน จากนั้นจึงประมวลผลบนรูปภาพความละเอียดต่ำ กระบวนการฝึกอบรมของ MDM นั้นเหมือนกับการสอนให้เด็กเรียนรู้ที่จะเดินทีละก้าวตั้งแต่เด็กเล็กไปจนถึงก้าวกระโดด โดยใช้วิธีการฝึกแบบก้าวหน้า โดยเริ่มจากความละเอียดต่ำและค่อยๆ เปลี่ยนไปเป็นความละเอียดสูง วิธีการนี้จะทำให้โมเดลมีความเสถียรและมีประสิทธิภาพมากขึ้นเมื่อเผชิญกับภาพที่มีความละเอียดสูงใหม่ๆ
ทีมวิจัยของ Apple แสดงให้เห็นประสิทธิภาพของ MDM อย่างเต็มที่ผ่านการทดสอบเกณฑ์มาตรฐานต่างๆ MDM ได้แสดงให้เห็นประสิทธิภาพที่ยอดเยี่ยม ไม่ว่าจะเป็นในการสร้างรูปภาพตามเงื่อนไขระดับคลาส หรือแอปพลิเคชันการแปลงข้อความเป็นรูปภาพ และข้อความเป็นวิดีโอ เป็นเรื่องที่ควรค่าแก่การกล่าวถึงเป็นพิเศษว่าแม้เมื่อฝึกฝนชุดข้อมูล CC12M เพียง 12 ล้านพิกเซลแล้ว MDM ก็แสดงความสามารถในการสรุปภาพรวมแบบ Zero-shot ที่น่าทึ่ง ซึ่งหมายความว่าสามารถทำงานได้ดีในฉากที่มองไม่เห็น
ผลการวิจัยแสดงให้เห็นว่า MDM สามารถสร้างภาพที่มีความละเอียดสูงสุด 1024x1024 พิกเซล และแม้ภายใต้เงื่อนไขข้อมูลที่ค่อนข้างจำกัด MDM ก็สามารถทำงานได้อย่างดีและสร้างภาพคุณภาพสูงที่ตรงตามข้อกำหนด คุณสมบัตินี้ขยายขอบเขตการประยุกต์ใช้เทคโนโลยีการสร้างภาพ AI อย่างมาก และนำความเป็นไปได้ใหม่ๆ มาสู่อุตสาหกรรมสร้างสรรค์ อุตสาหกรรมการออกแบบ และสาขาอื่นๆ
แม้ว่า MDM จะได้รับผลลัพธ์ที่น่าประทับใจในด้านการสร้างรูปภาพและวิดีโอ แต่นี่อาจเป็นเพียงส่วนเล็กเท่านั้น MDM ในอนาคตคาดว่าจะมีความชาญฉลาดมากขึ้น สามารถเข้าใจข้อมูลบริบทที่ซับซ้อนมากขึ้น และสร้างเนื้อหาที่สมจริงและหลากหลายมากขึ้น เราคาดหวังได้ว่าเทคโนโลยีนี้จะเข้ามามีบทบาทสำคัญในหลายๆ ด้าน เช่น ความเป็นจริงเสมือน, ความเป็นจริงเสริม, การผลิตภาพยนตร์, การพัฒนาเกม เป็นต้น
เทคโนโลยีโมเดลการแพร่กระจายของ Matryoshka ที่เปิดตัวโดย Apple ได้นำเทรนด์เทคโนโลยีใหม่มาสู่การสร้างภาพ AI อย่างไม่ต้องสงสัย ไม่เพียงแต่ปรับปรุงประสิทธิภาพและคุณภาพของการสร้างภาพเท่านั้น แต่ยังชี้ให้เห็นทิศทางใหม่สำหรับการพัฒนาของอุตสาหกรรมทั้งหมดอีกด้วย ด้วยการปรับปรุงเทคโนโลยีอย่างต่อเนื่องและการใช้งานที่ลึกซึ้งยิ่งขึ้น เรามีเหตุผลที่เชื่อได้ว่า MDM จะมีบทบาทสำคัญมากขึ้นในโลกสร้างสรรค์ดิจิทัลในอนาคต ทำให้เราได้รับประสบการณ์ทางภาพที่น่าตื่นตาตื่นใจมากขึ้น
หน้าโครงการ: https://top.aibase.com/tool/ml-mdm
บทความ: https://arxiv.org/pdf/2310.15111
โดยรวมแล้ว Matryoshka Diffusion Models ของ Apple แสดงให้เห็นถึงศักยภาพมหาศาลของเทคโนโลยีการสร้างภาพ AI ความสามารถในการสร้างภาพที่มีประสิทธิภาพและมีคุณภาพสูง และความสามารถในการสรุปตัวอย่างเป็นศูนย์ที่ยอดเยี่ยมนั้นนำความเป็นไปได้ที่ไร้ขีดจำกัดมาสู่การพัฒนาอุตสาหกรรมสร้างสรรค์ดิจิทัลในอนาคต มาดูกันว่าเทคโนโลยีนี้จะปฏิวัติประสบการณ์การมองเห็นของเราต่อไปอย่างไร