เทคโนโลยีการเคลือบภาพเป็นปัญหาสำคัญในด้านการประมวลผลภาพมาโดยตลอด โดยเฉพาะอย่างยิ่งสำหรับภาพที่มีรายละเอียดที่ซับซ้อน วิธีการแบบเดิมๆ มักจะไร้ความสามารถ บทความนี้จะแนะนำเทคโนโลยีการปูผิวใหม่ที่เรียกว่า "การปูด้านตามรุ่น" ซึ่งใช้แบบจำลองกำเนิดเพื่อให้ได้เอฟเฟกต์การปูลาดที่มีประสิทธิภาพและแม่นยำยิ่งขึ้น และสามารถจัดการกับวัตถุที่มีขอบเขตซับซ้อน เช่น เส้นผม ขนสัตว์ เป็นต้น เทคโนโลยีนี้ไม่ต้องการให้ผู้ใช้ป้อนข้อมูลเพิ่มเติม โดยอาศัยเพียงภาพเดียวในการตัดส่วนให้เสร็จสมบูรณ์โดยอัตโนมัติ และสามารถใช้ร่วมกับข้อมูลเสริม เช่น คำอธิบายข้อความและแท็กรูปภาพ เพื่อปรับปรุงความแม่นยำให้ดียิ่งขึ้น
ในโลกของการประมวลผลภาพ การจัดวางซึ่งเป็นเทคนิคการแยกวัตถุพื้นหน้าออกจากพื้นหลังของภาพถือเป็นเรื่องท้าทายมาโดยตลอด ปัจจุบัน เทคโนโลยีใหม่ที่เรียกว่า "Matting by Generation" กำลังใช้แบบจำลองเชิงกำเนิดเพื่อกำหนดนิยามใหม่ของความแม่นยำและประสิทธิภาพของการปู
หัวใจสำคัญของเทคโนโลยีนี้คือความสามารถในการทำให้เป็นอัตโนมัติ วิธีการตัดแบบดั้งเดิมมักกำหนดให้ผู้ใช้ป้อนข้อมูลเสริม เช่น เครื่องหมายโครงร่างหรือสีเฉพาะ "การแมตต์ตามรุ่น" นั้นแตกต่างออกไป โดยอาศัยเพียงภาพอินพุตเดียวเท่านั้นในการแยกวัตถุเบื้องหน้าโดยอัตโนมัติโดยไม่ต้องป้อนข้อมูลเพิ่มเติมใดๆ
สำหรับวัตถุที่มีขอบเขตซับซ้อน เช่น ผม ขนของสัตว์ เชือกผูกรองเท้า ฯลฯ วิธีการตัดแบบเดิมๆ มักจะไม่เพียงพอ แต่ Matting by Generation มีความเป็นเลิศในด้านเหล่านี้ โดยสร้างเอฟเฟกต์ขอบที่เกือบจะสมจริงด้วยโมเดลการแพร่กระจายแฝงขั้นสูง ซึ่งสามารถเข้าใจและสร้างรายละเอียดที่ซับซ้อนของภาพได้ดีขึ้น
คุณลักษณะที่โดดเด่นของแนวทาง "การปูตามรุ่น" คือการรวมเอาความรู้ก่อนการฝึกอบรมจำนวนมากเข้าไว้ด้วยกัน ซึ่งหมายความว่าเมื่อประมวลผลภาพ โมเดลไม่เพียงแต่วิเคราะห์อินพุตปัจจุบันเท่านั้น แต่ยังใช้ข้อมูลและรูปแบบที่หลากหลาย ซึ่งจะช่วยปรับปรุงความแม่นยำของการตัดและรายละเอียดที่สมบูรณ์
แม้ว่าการปูตามรุ่นจะทำงานได้โดยไม่ต้องป้อนข้อมูลเพิ่มเติม แต่ก็สามารถใช้ข้อมูลเสริมที่หลากหลายเพื่อปรับปรุงความแม่นยำในการปูได้ ไม่ว่าจะเป็นคำอธิบายข้อความ แท็กรูปภาพธรรมดา หรือดูเดิล โมเดลนี้สามารถผสานรวมข้อมูลนี้เพื่อระบุพื้นหน้าและพื้นหลังได้แม่นยำยิ่งขึ้น
สมมติว่าคุณมีรูปภาพ คุณสามารถอธิบายพื้นหน้าในภาพด้วยประโยค เช่น "ลูกแมวนั่งอยู่บนพื้นหญ้า" หรือวาดเส้นเพื่อทำเครื่องหมายบริเวณที่คุณต้องการตัดออก โมเดล "การแมตต์ตามรุ่น" จะใช้สัญญาณเหล่านี้เพื่อสร้างภาพพื้นหน้าที่แม่นยำยิ่งขึ้น
"การแมตต์ตามรุ่น" แสดงถึงการก้าวกระโดดครั้งใหญ่ในเทคโนโลยีการแมตต์รูปภาพ ไม่เพียงแต่ปรับปรุงประสิทธิภาพการทำงานเท่านั้น แต่ยังก้าวไปสู่ระดับคุณภาพอีกด้วย ในขณะที่เทคโนโลยีมีการพัฒนาอย่างต่อเนื่อง เราก็สามารถตั้งตารอได้ว่าเทคโนโลยีดังกล่าวจะเปลี่ยนความเข้าใจของเราเกี่ยวกับการประมวลผลภาพในการใช้งานในอนาคตอย่างไร
ที่อยู่กระดาษ: https://arxiv.org/pdf/2407.21017
โดยรวมแล้ว เทคโนโลยี "Matting by Generation" ได้นำความก้าวหน้าที่ปฏิวัติวงการมาสู่ด้านระบบอัตโนมัติ ความแม่นยำสูง และความสามารถในการประมวลผลรายละเอียดที่ซับซ้อน ทำให้มีความเป็นไปได้ในวงกว้างในการใช้งานการประมวลผลภาพในอนาคต เราหวังว่าจะได้เห็นเทคโนโลยีนี้แสดงพลังในด้านอื่นๆ มากขึ้น