Beijing TuSimple Future Technology Co., Ltd. ได้เปิดตัวโมเดลขนาดใหญ่ "TuSimple Video" ตัวแรกอย่างเป็นทางการในชื่อ "Ruyi" เมื่อวันที่ 17 ธันวาคม 2024 และเป็นเวอร์ชันโอเพ่นซอร์สในเวอร์ชัน Ruyi-Mini-7B รุ่นนี้ได้รับการออกแบบมาเป็นพิเศษสำหรับกราฟิกการ์ดระดับผู้บริโภค ช่วยให้ใช้งานและกระบวนการใช้งานได้สะดวก ทำงานได้ดีในแง่ของความสม่ำเสมอระหว่างเฟรมและความราบรื่นของการเคลื่อนไหว และมอบเครื่องมือสร้างสรรค์อันทรงพลังสำหรับผู้สร้างแอนิเมชั่นและเกม รองรับการสร้างวิดีโอหลายความละเอียด หลายช่วงเวลา และมีฟังก์ชันการควบคุมที่หลากหลาย ซึ่งสามารถลดวงจรและต้นทุนในการสร้างเนื้อหาได้อย่างมีประสิทธิภาพ นี่เป็นก้าวสำคัญสำหรับ TuSimple ในด้านการประยุกต์ใช้เทคโนโลยี AI และยังนำประสบการณ์สร้างสรรค์ใหม่มาสู่ผู้ที่ชื่นชอบ ACG
Beijing TuSimple Future Technology Co., Ltd. เปิดตัวโมเดลขนาดใหญ่ "TuSimple Video" รุ่นแรกอย่างเป็นทางการในชื่อ "Ruyi" เมื่อวันที่ 17 ธันวาคม 2024 และสร้างโอเพ่นซอร์สเวอร์ชัน Ruyi-Mini-7B ให้ผู้ใช้ดาวน์โหลดและใช้งานจากแพลตฟอร์ม Huggingface . TuSimple ก่อตั้งขึ้นในปี 2558 และมีสำนักงานใหญ่ในเมืองซานดิเอโก รัฐแคลิฟอร์เนีย ประเทศสหรัฐอเมริกา โดยมุ่งเน้นที่การประยุกต์ใช้เทคโนโลยี AI ในอุตสาหกรรมต่างๆ รวมถึงเกมแอนิเมชันและอุตสาหกรรมการขนส่ง
รุ่นใหญ่ Ruyi ได้รับการออกแบบมาเพื่อทำงานบนกราฟิกการ์ดระดับผู้บริโภค และให้คำแนะนำการใช้งานโดยละเอียดและเวิร์กโฟลว์ ComfyUI เพื่อให้ผู้ใช้สามารถเริ่มต้นได้อย่างรวดเร็ว ด้วยประสิทธิภาพที่ยอดเยี่ยมในด้านความสม่ำเสมอของเฟรมต่อเฟรม ความราบรื่นของการเคลื่อนไหว การนำเสนอสีและองค์ประกอบ โมเดลนี้มอบความเป็นไปได้ใหม่ ๆ สำหรับการเล่าเรื่องด้วยภาพ และดำเนินการเรียนรู้เชิงลึกสำหรับฉากแอนิเมชั่นและเกม ทำให้เป็นพันธมิตรสร้างสรรค์ในอุดมคติสำหรับผู้ที่ชื่นชอบ ACG
รุ่น Ruyi รองรับการสร้างหลายความละเอียดและหลายระยะเวลา และสามารถรองรับความละเอียดตั้งแต่ 384×384 ถึง 1024×1024 อัตราส่วนภาพใดก็ได้ และการสร้างวิดีโอสูงสุด 120 เฟรม/5 วินาที นอกจากนี้ยังรองรับการสร้างการควบคุมเฟรมแรก, เฟรมแรกและเฟรมสุดท้าย, การควบคุมแอมพลิจูดของการเคลื่อนไหว และการควบคุมเลนส์ห้าตัว Ruyi ใช้สถาปัตยกรรม DiT และประกอบด้วยโมดูล Casual VAE และ Diffusion Transformer ขนาดพารามิเตอร์ทั้งหมดอยู่ที่ประมาณ 7.1B และใช้คลิปวิดีโอประมาณ 200M ในการฝึกอบรม
แม้ว่า Ruyi จะมีความก้าวหน้าอย่างมากในด้านเทคโนโลยี แต่ก็ยังมีข้อบกพร่องบางประการ เช่น ความผิดปกติของมือ รายละเอียดใบหน้ายุบลงเมื่อมีคนจำนวนมาก และการเปลี่ยนแปลงที่ไม่สามารถควบคุมได้ TuSimple กำลังทำงานอย่างหนักเพื่อปรับปรุงและแก้ไขปัญหาเหล่านี้ในคำถามเกี่ยวกับการอัปเดตในอนาคต
เมื่อมองไปสู่อนาคต TuSimple วางแผนที่จะเจาะลึกความต้องการของฉากต่อไป บรรลุความก้าวหน้าในการสร้าง CUT โดยตรง และนำเสนอสองเวอร์ชันในรุ่นถัดไปเพื่อตอบสนองความต้องการของผู้สร้างที่แตกต่างกัน บริษัทมุ่งมั่นที่จะใช้โมเดลขนาดใหญ่เพื่อลดวงจรการพัฒนาและต้นทุนของเนื้อหาแอนิเมชั่นและเกม โมเดลขนาดใหญ่ของ Ruyi สามารถสร้างเนื้อหาได้ภายใน 5 วินาทีหลังจากป้อนคีย์เฟรม หรือป้อนสองคีย์เฟรม แล้วโมเดลจะสร้างเนื้อหาการเปลี่ยนแปลงระดับกลาง ลดวงจรการพัฒนา
ลิงค์กอดใบหน้า:
https://huggingface.co/IamCreateAI/Ruyi-Mini-7B
โดยรวมแล้ว การเปิดตัวโมเดลขนาดใหญ่ของ Ruyi ได้นำความเป็นไปได้ใหม่ๆ มาสู่การสร้างแอนิเมชั่นและเกม แม้ว่าจะมีข้อบกพร่องอยู่บ้าง แต่ศักยภาพในการพัฒนาในอนาคตก็มีมาก คุ้มค่าที่จะรอคอยการเพิ่มประสิทธิภาพและปรับปรุงโมเดลต่อไปของ TuSimple รุ่นต่อๆ ไป