บรรณาธิการของ Downcodes ได้เรียนรู้ว่าโปรเจ็กต์โอเพ่นซอร์สชื่อ Ultralight-Digital-Human กำลังก่อให้เกิดการอภิปรายอย่างดุเดือดใน GitHub! โครงการนี้ได้สร้างความก้าวหน้าในการแก้ปัญหาการนำเทคโนโลยีดิจิทัลของมนุษย์ไปใช้งานบนเทอร์มินัลมือถือ ทำให้สมาร์ทโฟนทั่วไปสามารถรันแอปพลิเคชันดิจิทัลของมนุษย์ได้อย่างราบรื่น ลดเกณฑ์แอปพลิเคชันของเทคโนโลยีดิจิทัลของมนุษย์ลงได้อย่างมาก และนำโอกาสที่ไม่เคยมีมาก่อนสำหรับการเผยแพร่สู่สาธารณะ ซึ่งจะมีผลกระทบอย่างมากต่อการพัฒนาแอปพลิเคชันบนมือถือ รวมถึง AR/VR และสาขาอื่นๆ
เมื่อเร็วๆ นี้ โครงการโอเพ่นซอร์สชื่อ Ultralight-Digital-Human ได้รับความสนใจอย่างกว้างขวางในชุมชนนักพัฒนา โครงการนี้ประสบความสำเร็จในการแก้ปัญหาการปรับใช้เทคโนโลยีดิจิทัลของมนุษย์บนเทอร์มินัลมือถือ ทำให้สมาร์ทโฟนธรรมดาสามารถเรียกใช้แอปพลิเคชันดิจิทัลของมนุษย์แบบเรียลไทม์ นำความเป็นไปได้ใหม่ๆ มาสู่ความนิยมของเทคโนโลยีที่เกี่ยวข้อง
โมเดลมนุษย์ดิจิทัลน้ำหนักเบาพิเศษนี้ใช้เทคโนโลยีการเรียนรู้เชิงลึกที่เป็นนวัตกรรม และผ่านการเพิ่มประสิทธิภาพอัลกอริทึมและการบีบอัดโมเดล ทำให้สามารถลดขนาดระบบดิจิทัลของมนุษย์ขนาดใหญ่ลงได้สำเร็จจนถึงจุดที่สามารถทำงานได้อย่างราบรื่นบนอุปกรณ์เคลื่อนที่ ระบบรองรับการประมวลผลอินพุตวิดีโอและเสียงแบบเรียลไทม์ และสามารถสังเคราะห์ภาพดิจิทัลของมนุษย์ได้อย่างรวดเร็วพร้อมการตอบสนองที่รวดเร็วและการทำงานที่ราบรื่น
ในแง่ของการใช้งานทางเทคนิค โปรเจ็กต์ได้รวมโซลูชันการแยกฟีเจอร์เสียงสองรายการเข้าด้วยกัน ได้แก่ Wenet และ Hubert และนักพัฒนาสามารถเลือกได้อย่างยืดหยุ่นตามสถานการณ์การใช้งานเฉพาะ ในเวลาเดียวกัน ด้วยการแนะนำเทคโนโลยีเครือข่ายการซิงโครไนซ์ (syncnet) เอฟเฟกต์การซิงโครไนซ์ริมฝีปากของมนุษย์ดิจิทัลได้รับการปรับปรุงอย่างมีนัยสำคัญ เพื่อให้การทำงานราบรื่นบนอุปกรณ์เคลื่อนที่ ทีมพัฒนาได้นำเทคโนโลยีการตัดพารามิเตอร์มาใช้ในระหว่างกระบวนการฝึกอบรมและปรับใช้ ซึ่งลดความต้องการทรัพยากรการประมวลผลลงได้อย่างมีประสิทธิภาพ
จุดเด่นอีกประการหนึ่งของโครงการนี้คือเอกสารประกอบกระบวนการฝึกอบรมที่ครบถ้วน นักพัฒนาจะต้องเตรียมวิดีโอใบหน้าคุณภาพสูงความยาวเพียง 3-5 นาที และปฏิบัติตามหลักเกณฑ์เพื่อเริ่มฝึกโมเดลมนุษย์ดิจิทัลของตนเอง ข้อกำหนดวิดีโอของระบบยังชัดเจนมาก โหมด Wenet ต้องใช้อัตราเฟรม 20fps ในขณะที่โหมด Hubert ต้องใช้ 25fps
เพื่อให้มั่นใจถึงผลการฝึกอบรม ทีมงานโครงการเตือนนักพัฒนาให้ใส่ใจกับลิงก์สำคัญต่อไปนี้: โมเดลก่อนการฝึกอบรมที่ต้องการเป็นพื้นฐาน รับประกันคุณภาพของข้อมูลการฝึกอบรม ติดตามกระบวนการฝึกอบรมอย่างสม่ำเสมอ และปรับพารามิเตอร์การฝึกอบรม ทันเวลา รายละเอียดเหล่านี้จะส่งผลโดยตรงต่อเอฟเฟกต์ดิจิทัลของมนุษย์ในขั้นสุดท้าย
ปัจจุบัน โครงการโอเพ่นซอร์สนี้ได้แสดงให้เห็นถึงศักยภาพที่ยอดเยี่ยมในด้านต่างๆ เช่น แอปพลิเคชันโซเชียล เกมมือถือ และความเป็นจริงเสมือน เมื่อเปรียบเทียบกับเทคโนโลยีดิจิทัลของมนุษย์แบบดั้งเดิม ไม่เพียงแต่ลดเกณฑ์ฮาร์ดแวร์ลงเท่านั้น แต่ยังรองรับความเข้ากันได้ข้ามแพลตฟอร์ม และสามารถทำงานได้อย่างเสถียรบนสมาร์ทโฟนทุกประเภท
ที่อยู่โครงการ: https://github.com/anliyuan/Ultralight-Digital-Human
โครงการ Ultralight-Digital-Human ถือเป็นก้าวสำคัญในการพัฒนาเทคโนโลยีดิจิทัลของมนุษย์อย่างไม่ต้องสงสัย และลักษณะโอเพ่นซอร์สของโครงการนี้ยังเปิดโอกาสให้นักพัฒนาได้เรียนรู้และสร้างสรรค์สิ่งใหม่ๆ มากขึ้นอีกด้วย ฉันเชื่อว่าจะมีแอปพลิเคชันที่เป็นนวัตกรรมมากขึ้นตามโครงการนี้ในอนาคต รอดูกัน!