Adobe Research และ Northwestern University ร่วมมือกันสร้างระบบ AI ปฏิวัติวงการ - Sketch2Sound ระบบนี้สามารถเปลี่ยนการเลียนแบบเสียงและคำอธิบายข้อความธรรมดาให้เป็นเอฟเฟกต์เสียงระดับมืออาชีพ ซึ่งนำการปรับปรุงประสิทธิภาพอย่างที่ไม่เคยมีมาก่อนมาสู่อุตสาหกรรมการออกแบบเสียง โดยจะวิเคราะห์ความดัง เสียงต่ำ และระดับเสียงพูด แล้วรวมเข้ากับคำอธิบายข้อความเพื่อสร้างเอฟเฟกต์เสียงที่ผู้ใช้ต้องการ ความสามารถในการเข้าใจบริบทที่เป็นเอกลักษณ์ของมันนั้นน่าทึ่งยิ่งกว่าเดิม ตัวอย่างเช่น ด้วยการรวม "บรรยากาศป่าไม้" ที่เรียบง่ายเข้ากับการเลียนแบบเสียงนกร้อง ระบบจะสามารถสร้างเสียงนกร้องที่สมจริงได้โดยอัตโนมัติโดยไม่ต้องมีคำแนะนำเพิ่มเติม Sketch2Sound ยังรองรับการสร้างเพลงอีกด้วย ผู้ใช้เพียงแค่ฮัมจังหวะและป้อนชื่อเครื่องดนตรี จากนั้นระบบจะจับคู่ระดับเสียงและจังหวะโดยอัตโนมัติ และสร้างรูปแบบกลองที่สอดคล้องกัน
ระบบจะวิเคราะห์องค์ประกอบหลักสามประการของการป้อนข้อมูลคำพูด: ความดัง เสียงต่ำ (ซึ่งเป็นตัวกำหนดความสว่างของเสียง) และระดับเสียง จากนั้นระบบจะรวมคุณสมบัติเหล่านี้เข้ากับคำอธิบายข้อความเพื่อสร้างเสียงที่ต้องการ
วิดีโอ: García และคณะ, Adobe Research
สิ่งที่น่าสนใจเกี่ยวกับ Sketch2Sound คือความสามารถในการเข้าใจบริบท ตัวอย่างเช่น หากมีคนพิมพ์ "กลิ่นอายของป่า" และส่งเสียงสั้นๆ ระบบจะรับรู้โดยอัตโนมัติว่าเสียงเหล่านั้นควรเป็นเสียงนก โดยไม่ต้องใช้คำแนะนำเฉพาะ
ความฉลาดแบบเดียวกันนี้ใช้กับดนตรี เมื่อสร้างรูปแบบกลอง ผู้ใช้สามารถป้อน "กลองเบส, กลองสแนร์" จากนั้นฮัมจังหวะโดยใช้เบสและเสียงแหลม ระบบจะวางกลองเบสไว้ที่เสียงต่ำและสแนร์ที่เสียงสูงโดยอัตโนมัติ
ให้การควบคุมแบบละเอียดแก่มืออาชีพทีมวิจัยที่สร้างขึ้นในเทคโนโลยีการกรองพิเศษที่ช่วยให้ผู้ใช้สามารถปรับและควบคุมความแม่นยำของเสียงที่สร้างขึ้น นักออกแบบเสียงสามารถเลือกการควบคุมที่แม่นยำและมีรายละเอียด หรือแนวทางโดยประมาณที่ผ่อนคลายมากขึ้นได้ ขึ้นอยู่กับความต้องการของพวกเขา
ความยืดหยุ่นนี้ทำให้ Sketch2Sound มีคุณค่าอย่างยิ่งสำหรับศิลปิน Foley (มืออาชีพที่สร้างเอฟเฟกต์เสียงสำหรับภาพยนตร์และรายการทีวี) แทนที่จะจัดการวัตถุทางกายภาพเพื่อสร้างเสียง พวกมันสามารถสร้างเอฟเฟกต์ได้เร็วขึ้นผ่านคำอธิบายคำพูดและข้อความ
นักวิจัยตั้งข้อสังเกตว่าบางครั้งลักษณะเสียงเชิงพื้นที่ของการบันทึกอินพุตอาจส่งผลต่อเสียงที่ได้ในลักษณะที่ไม่พึงประสงค์ แต่พวกเขากำลังดำเนินการเพื่อแก้ไขปัญหานี้ Adobe ยังไม่ได้ประกาศว่า Sketch2Sound จะกลายเป็นผลิตภัณฑ์เชิงพาณิชย์เมื่อใดหรือเมื่อใด
การเกิดขึ้นของ Sketch2Sound จะช่วยปรับปรุงประสิทธิภาพและความสะดวกสบายของการออกแบบเสียงได้อย่างมากอย่างไม่ต้องสงสัย และนำความเป็นไปได้ที่สร้างสรรค์ใหม่ๆ มาสู่ภาพยนตร์ โทรทัศน์ เกม และอุตสาหกรรมอื่นๆ แม้ว่าจะยังอยู่ในขั้นตอนการวิจัยและพัฒนา แต่ก็ไม่สามารถละเลยศักยภาพของมันได้ และการพัฒนาในอนาคตก็คุ้มค่ากับการรอคอย