ทีม Wu Jiajun จากมหาวิทยาลัยสแตนฟอร์ดได้พัฒนาเทคโนโลยีที่ก้าวล้ำ - "ภาษาของฉาก" ซึ่งสามารถสร้างโมเดล 3 มิติที่เหมือนจริงโดยอัตโนมัติด้วยเพียงประโยคหรือรูปภาพ เทคโนโลยีนี้รวมข้อมูลสามประเภท: โปรแกรม ข้อความ และเวกเตอร์ที่ฝังไว้ และแปลงคำอธิบายภาษาธรรมชาติให้เป็นฉากภาพ ช่วยให้นักออกแบบและนักพัฒนาเกมได้รับความสะดวกสบายอย่างที่ไม่เคยมีมาก่อน บรรณาธิการของ Downcodes จะพาคุณไปทำความเข้าใจอย่างลึกซึ้งเกี่ยวกับเทคโนโลยีที่น่าทึ่งนี้ สำรวจหลักการสำคัญ โอกาสในการนำไปใช้ และทิศทางการพัฒนาในอนาคต และเปิดเผยว่าเทคโนโลยีนี้เปลี่ยนฉากเจ๋งๆ ในภาพยนตร์นิยายวิทยาศาสตร์ให้กลายเป็นความจริงได้อย่างไร
คุณยังจำฉาก 3 มิติเจ๋งๆ เหล่านั้นในภาพยนตร์นิยายวิทยาศาสตร์ได้หรือไม่? จักรวาลอันกว้างใหญ่ ปราสาทแฟนตาซี เมืองแห่งอนาคต... ตอนนี้คุณสามารถสร้างฉากดังกล่าวได้อย่างง่ายดาย! **"ภาษาฉาก"* ล่าสุดที่เปิดตัวโดยทีมงาน Wu Jiajun จากมหาวิทยาลัยสแตนฟอร์ด * เทคโนโลยีช่วยให้คุณสร้างโมเดล 3 มิติที่เหมือนจริงได้โดยอัตโนมัติ เพียงแค่อธิบายฉากในประโยคเดียว ซึ่งเป็นข่าวดีสำหรับนักออกแบบและนักพัฒนาเกม!
ภาษาฉากคืออะไรกันแน่?
ลองจินตนาการว่าคุณกำลังพยายามบรรยายถึงเสาหินอาฮูอากีวีอันลึกลับบนเกาะอีสเตอร์ คุณจะพูดว่า: "มีรูปปั้นโมอายเรียงกันเจ็ดตัว หันหน้าไปในทิศทางเดียวกัน" แต่ถ้าอีกฝ่ายไม่รู้ว่ารูปปั้นโมอายคืออะไร คุณต้องอธิบายว่า "รูปปั้นโมอายนั้นเป็นรูปปั้นมนุษย์ที่ไม่มี ขา แต่แต่ละคนดูแตกต่างกันเล็กน้อย”
ตัวอย่างนี้บอกเราว่าในการอธิบายฉากโดยสมบูรณ์ จำเป็นต้องมีข้อมูลอย่างน้อยสามประเภท:
ข้อมูลโครงสร้าง: ตัวอย่างเช่น "รูปปั้นหินเจ็ดแถว" สามารถอธิบายได้ด้วยโปรแกรมที่คล้ายกับภาษาโปรแกรม
ความหมายของหมวดหมู่: ตัวอย่างเช่น "รูปปั้นโมอาย" สามารถสรุปเป็นคำพูดได้
รายละเอียดอินสแตนซ์: ตัวอย่างเช่น รูปร่าง สี และพื้นผิวเฉพาะของรูปปั้นหินแต่ละชิ้นนั้นยากที่จะอธิบายเป็นคำพูด แต่สามารถระบุได้ผ่านรูปภาพ
ภาษาของฉากเป็นการผสมผสานที่สมบูรณ์แบบของข้อมูลทั้งสามประเภทนี้ ประกอบด้วยองค์ประกอบหลักสามประการ:
โปรแกรม: ใช้ไวยากรณ์เหมือนภาษาโปรแกรมเพื่อกำหนดความสัมพันธ์แบบลำดับชั้นและเค้าโครงเชิงพื้นที่ของวัตถุในฉาก เช่น การจัดรูปปั้นโมอาย
ข้อความ: ใช้ภาษาธรรมชาติเพื่ออธิบายความหมายของหมวดหมู่ของแต่ละวัตถุ เช่น "โมอาย"
การฝังเวกเตอร์: เวกเตอร์ที่สร้างโดยโครงข่ายประสาทเทียมจะถูกใช้เพื่อจับภาพลักษณะการมองเห็นของวัตถุแต่ละชิ้น เช่น ลักษณะเฉพาะของรูปปั้นหินแต่ละชิ้น
สิ่งที่น่าทึ่งที่สุดคือภาษาของฉากสามารถสร้างขึ้นได้โดยอัตโนมัติผ่านโมเดลภาษาที่ผ่านการฝึกอบรมมาแล้ว คุณเพียงแค่ต้องป้อนคำอธิบายข้อความหรือรูปภาพ จากนั้นโมเดลก็สามารถอนุมานโปรแกรม ข้อความ และเวกเตอร์ที่ฝังไว้ได้โดยอัตโนมัติ จากนั้นจึงใช้ตัวเรนเดอร์ต่างๆ เพื่อสร้างฉาก 3D คุณภาพสูง
ข้อดีของภาษาฉากคืออะไร?
เมื่อเปรียบเทียบกับการแสดงกราฟฉากแบบดั้งเดิม ภาษาของฉากสามารถสร้างฉากที่ซับซ้อนและสมจริงได้มากขึ้น และสามารถควบคุมและแก้ไขโครงสร้างของฉากได้อย่างแม่นยำ ตัวอย่างเช่น คุณสามารถแก้ไขคุณสมบัติของวัตถุในฉาก เพิ่มวัตถุใหม่ หรือแม้แต่เปลี่ยนรูปแบบของทั้งฉากด้วยคำสั่งเพียงประโยคเดียว
ภาษาสถานการณ์มีประโยชน์อย่างไร?
ภาษาของฉากมีแนวโน้มการใช้งานที่หลากหลายในด้านการสร้างและแก้ไขฉาก 3D เช่น:
สร้างฉาก 3 มิติจากข้อความ: ป้อนคำอธิบายข้อความ จากนั้นฉาก 3 มิติที่เกี่ยวข้องจะถูกสร้างขึ้นโดยอัตโนมัติ เช่น "ปราสาทบนยอดเขาที่ล้อมรอบด้วยป่าทึบ";
สร้างฉาก 3 มิติจากรูปภาพ: ป้อนภาพถ่ายและคุณสามารถสร้างฉาก 3 มิติในรูปภาพขึ้นมาใหม่ได้ เช่น สร้างแบบจำลองห้องนั่งเล่น 3 มิติตามภาพถ่ายในห้องนั่งเล่น
การสร้างฉาก 4D: สามารถสร้างฉาก 4D ที่มีข้อมูลมิติเวลาได้ เช่น การจำลองการหมุนของกังหันลม
การแก้ไขฉาก: ด้วยการปรับเปลี่ยนโปรแกรมของภาษาของฉาก ข้อความ หรือเวกเตอร์ที่ฝังอยู่ ทำให้สามารถแก้ไขฉากได้อย่างแม่นยำ เช่น การเปลี่ยนสี ตำแหน่ง หรือขนาดของวัตถุ
ทิศทางการพัฒนาในอนาคตของภาษาฉาก?
ภาษาของสถานการณ์ยังอยู่ในช่วงเริ่มต้นของการพัฒนา และยังมีพื้นที่อีกมากมายสำหรับการพัฒนาในอนาคต เช่น:
ความสามารถในการสร้างที่ทรงพลังยิ่งขึ้น: สามารถสร้างฉากที่ซับซ้อนและสมจริงมากขึ้น เช่น มีรายละเอียดมากขึ้นและองค์ประกอบเชิงโต้ตอบที่สมบูรณ์ยิ่งขึ้น
วิธีการแก้ไขที่สะดวกยิ่งขึ้น: คุณสามารถใช้ภาษาที่เป็นธรรมชาติและใช้งานง่ายมากขึ้นในการแก้ไขฉาก เช่น การใช้การควบคุมด้วยเสียงหรือท่าทาง
ขอบเขตการใช้งานที่กว้างขึ้น: สามารถใช้ในความเป็นจริงเสมือน, ความเป็นจริงเสริม, การพัฒนาเกม, การผลิตภาพยนตร์ และสาขาอื่น ๆ
หน้าแรกของโครงการ: https://ai.stanford.edu/~yzzhang/projects/scene-language/
ที่อยู่กระดาษ: https://arxiv.org/abs/2410.16770
โดยรวมแล้ว เทคโนโลยี "ภาษาของฉาก" ได้นำมาซึ่งการเปลี่ยนแปลงครั้งยิ่งใหญ่ในด้านการสร้างและแก้ไขฉาก 3 มิติ ความสะดวก ประสิทธิภาพ และความสามารถในการสร้างอันทรงพลังทำให้มีความเป็นไปได้ที่ไร้ขีดจำกัดในอนาคต ฉันเชื่อว่าด้วยการพัฒนาเทคโนโลยีอย่างต่อเนื่อง "ภาษาฉาก" จะมีบทบาทสำคัญในสาขาต่างๆ มากขึ้น และสร้างโลกเสมือนจริงที่สดใสและสมจริงยิ่งขึ้นสำหรับเรา