บรรณาธิการของ Downcodes ได้เรียนรู้ว่านักวิจัยจาก Nvidia และมหาวิทยาลัย Tel Aviv ร่วมกันพัฒนาเครื่องมือสร้างภาพ AI ที่เรียกว่า ComfyGen โดยจะสามารถสร้างขั้นตอนการทำงานที่ซับซ้อนโดยอัตโนมัติตามข้อความแจ้งธรรมดา ซึ่งช่วยลดความยากในการสร้างภาพคุณภาพสูงได้อย่างมาก ComfyGen ทลายข้อจำกัดของวิธีแปลงข้อความเป็นรูปภาพแบบเดิมๆ ด้วยการเลือกโมเดลอย่างชาญฉลาด การปรับคำที่พร้อมท์อย่างแม่นยำ และเมื่อรวมกับเครื่องมืออื่นๆ ComfyGen จึงบรรลุผลในการสร้างภาพที่ดีขึ้น โดยนำการเปลี่ยนแปลงครั้งยิ่งใหญ่มาสู่ขอบเขตของภาพ AI รุ่น. ข้อได้เปรียบหลักคือเลียนแบบสไตล์การทำงานของวิศวกรที่มีประสบการณ์พร้อมท์ และสามารถปรับกลยุทธ์ตามความต้องการที่แตกต่างกันได้อย่างยืดหยุ่น ซึ่งจะลดเกณฑ์การสร้างภาพลงอย่างมาก และปรับปรุงประสิทธิภาพของผู้ใช้มืออาชีพ
เมื่อเร็วๆ นี้ นักวิจัยจาก Nvidia และมหาวิทยาลัยเทลอาวีฟได้เปิดตัวเครื่องมือ AI ที่เป็นนวัตกรรมใหม่ที่เรียกว่า ComfyGen ซึ่งนำความก้าวหน้าใหม่ๆ ในด้านการสร้างภาพ ComfyGen สามารถสร้างเวิร์กโฟลว์รูปภาพที่ซับซ้อนได้โดยอัตโนมัติตามข้อความแจ้งที่เรียบง่าย ทำให้กระบวนการสร้างภาพคุณภาพสูงง่ายขึ้นอย่างมาก
จุดแข็งหลักของ ComfyGen อยู่ที่แนวทางเวิร์กโฟลว์แบบหลายขั้นตอน แตกต่างจากวิธีแปลงข้อความเป็นรูปภาพแบบโมเดลเดียวแบบดั้งเดิม ComfyGen เลือกโมเดลที่เหมาะสมอย่างชาญฉลาด กำหนดคำสั่งที่แม่นยำ และรวมเข้ากับเครื่องมืออื่นๆ (เช่น แว่นขยายรูปภาพ) เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด แนวทางนี้เลียนแบบวิธีการทำงานของวิศวกรพร้อมท์ที่มีประสบการณ์ พร้อมความสามารถในการปรับกลยุทธ์การสร้างอย่างยืดหยุ่นตามเนื้อหาข้อความที่แตกต่างกันและสไตล์รูปภาพที่ต้องการ
เครื่องมือนี้ใช้โมเดลภาษาขั้นสูง (เช่น Claude3.5Sonnet) เพื่อทำความเข้าใจข้อความแจ้งเตือนของผู้ใช้และสร้างขั้นตอนการทำงานที่เกี่ยวข้องโดยอัตโนมัติ นักวิจัยใช้สองวิธีเพื่อให้บรรลุฟังก์ชันนี้:
การเรียนรู้ตามบริบท: ใช้ประโยชน์จากโมเดลภาษาที่มีอยู่เพื่อช่วยให้โมเดลเลือกเวิร์กโฟลว์ที่เหมาะสมที่สุดสำหรับพร้อมต์ใหม่ โดยจัดเตรียมตารางเวิร์กโฟลว์ที่มีหมวดหมู่พร้อมต์ที่แตกต่างกันและคะแนนเฉลี่ย
การปรับแต่งอย่างละเอียด: โมเดลภาษา (เช่น Llama-3.1-8B และ -70B) ได้รับการฝึกอบรมมาโดยเฉพาะเพื่อคาดการณ์ขั้นตอนการทำงานที่เหมาะสมโดยได้รับคะแนนทันทีและเป้าหมาย
เมื่อเปรียบเทียบกับรุ่นเดี่ยวแบบดั้งเดิม (เช่น Stable Diffusion XL) และเวิร์กโฟลว์แบบคงที่ ComfyGen ทำงานได้ดีทั้งในการให้คะแนนแบบอัตโนมัติและการศึกษาผู้ใช้ การวิจัยแสดงให้เห็นว่าขั้นตอนการทำงานที่สร้างโดย ComfyGen สามารถจับคู่หมวดหมู่ของพรอมต์ได้ดี เช่น โมเดลการขยายขนาดใบหน้ามีแนวโน้มที่จะถูกนำมาใช้มากกว่าเมื่อประมวลผลการแจ้งเตือนของมนุษย์ ในขณะที่โมเดลที่ถูกต้องตามหลักกายวิภาคจะถูกใช้มากกว่าเมื่อประมวลผลพรอมต์แอนิเมชั่น
ข้อดีอีกประการของ ComfyGen ก็คือความสามารถในการปรับตัว สร้างจากขั้นตอนการทำงานที่มีอยู่และโมเดลการให้คะแนนที่สร้างโดยชุมชน และสามารถปรับให้เข้ากับการพัฒนาเทคโนโลยีใหม่ๆ ได้อย่างรวดเร็ว อย่างไรก็ตาม สิ่งนี้ยังนำมาซึ่งข้อจำกัดบางประการด้วย กล่าวคือ ระบบปัจจุบันอาศัยข้อมูลการฝึกอบรมที่ทราบเป็นหลักในการคัดเลือก ซึ่งอาจจำกัดความหลากหลายและความคิดริเริ่มของเวิร์กโฟลว์ที่สร้างขึ้น
นับจากนี้ไป ทีมวิจัยวางแผนที่จะพัฒนา ComfyGen เพิ่มเติม เพื่อสร้างขั้นตอนการทำงานใหม่ทั้งหมด และขยายการใช้งานไปสู่งานภาพต่อภาพ พวกเขายังเสนอแนวคิดในการผสมผสานแนวทางนี้เข้ากับแนวทางที่ใช้ตัวแทนเพื่อเพิ่มประสิทธิภาพเวิร์กโฟลว์ซ้ำ ๆ ผ่านทางบทสนทนาของผู้ใช้ ซึ่งอาจกลายเป็นทิศทางใหม่สำหรับการวิจัยในอนาคต
การเกิดขึ้นของ ComfyGen นำมาซึ่งความเป็นไปได้ใหม่ๆ ในด้านการสร้างภาพ AI:
ลดอุปสรรคในการเข้าสู่: ด้วยการทำให้เวิร์กโฟลว์ที่ซับซ้อนเป็นอัตโนมัติ ComfyGen สามารถช่วยให้ผู้เริ่มต้นสร้างภาพคุณภาพสูงได้ง่ายขึ้น
ปรับปรุงประสิทธิภาพ: สำหรับผู้ใช้มืออาชีพ ComfyGen สามารถลดเวลาในการปรับขั้นตอนการทำงานด้วยตนเองและปรับปรุงประสิทธิภาพการทำงานได้อย่างมาก
ผลลัพธ์ส่วนบุคคล: ด้วยการเลือกรุ่นและพารามิเตอร์อย่างชาญฉลาด ComfyGen สามารถสร้างภาพที่เป็นส่วนตัวมากขึ้นตามความต้องการที่แตกต่างกัน
ส่งเสริมนวัตกรรมทางเทคโนโลยี: แนวทางของ ComfyGen อาจสร้างแรงบันดาลใจให้เกิดนวัตกรรมมากขึ้นในด้านการสร้างภาพ AI และส่งเสริมการพัฒนาเครื่องมือที่ชาญฉลาดและยืดหยุ่นมากขึ้น
แอปพลิเคชันข้ามโดเมน: แนวคิดที่สร้างโดยเวิร์กโฟลว์อัจฉริยะนี้อาจนำไปใช้กับสาขาอื่นๆ ได้ เช่น การประมวลผลเสียง การตัดต่อวิดีโอ เป็นต้น
แม้ว่าโค้ดและการสาธิตของ ComfyGen จะยังไม่ได้รับการเผยแพร่สู่สาธารณะ แต่ศักยภาพของโค้ดก็ดึงดูดความสนใจอย่างกว้างขวางในอุตสาหกรรม ในขณะที่เทคโนโลยีนี้พัฒนาและปรับปรุงเพิ่มเติม เราก็คาดหวังว่าจะได้เห็นเครื่องมือสร้างสรรค์อัจฉริยะที่ใช้ AI เพิ่มมากขึ้น ซึ่งนำการเปลี่ยนแปลงและโอกาสใหม่ ๆ มาสู่อุตสาหกรรมสร้างสรรค์
โดยรวมแล้ว การเกิดขึ้นของ ComfyGen ถือเป็นก้าวสำคัญในเทคโนโลยีการสร้างภาพ AI ระบบอัตโนมัติ ประสิทธิภาพ และการปรับแต่งส่วนบุคคลจะส่งผลอย่างมากต่อวิธีการสร้างภาพในอนาคต เรารอคอยที่จะเปิดตัว ComfyGen อย่างเป็นทางการและเป็นสักขีพยานในการเปลี่ยนแปลงที่นำมาสู่อุตสาหกรรมสร้างสรรค์