Beijing Zhipu Huazhang Technology Co., Ltd. ได้เปิดตัว CogVideoX v1.5 เวอร์ชันล่าสุดของโมเดลการสร้างวิดีโอนี้เป็นโอเพ่นซอร์ส! นับตั้งแต่เปิดตัวเมื่อต้นเดือนสิงหาคม ซีรีส์ CogVideoX ได้กลายเป็นตัวเลือกยอดนิยมอย่างรวดเร็วในด้านการสร้างวิดีโอ ด้วยเทคโนโลยีชั้นนำและคุณสมบัติที่เป็นมิตรกับนักพัฒนา บรรณาธิการของ Downcodes ได้เรียนรู้ว่า CogVideoX v1.5 ได้รับการปรับปรุงอย่างมีนัยสำคัญในด้านความสามารถในการสร้างวิดีโอและโมเดลการแปลงภาพเป็นวิดีโอ (I2V) ทำให้ผู้ใช้ได้รับประสบการณ์การสร้างวิดีโอที่ดีและสะดวกยิ่งขึ้น
โอเพ่นซอร์สนี้มีสองรุ่น: CogVideoX v1.5-5B และ CogVideoX v1.5-5B-I2V เปิดตัวพร้อมกันบนแพลตฟอร์ม Qingying และผสมผสานกับโมเดลเอฟเฟกต์เสียง CogSound เพื่อมอบบริการสร้างวิดีโอ AI ที่ทรงพลังยิ่งขึ้น รองรับความละเอียดที่สูงขึ้น สัดส่วนที่แปรผันเพื่อปรับให้เข้ากับฉากต่างๆ เอาต์พุตแบบหลายช่องสัญญาณ และการสร้างวิดีโอ AI พร้อมเอฟเฟกต์เสียง ในระดับเทคนิค CogVideoX v1.5 ปรับปรุงคุณภาพการสร้างวิดีโอและการเชื่อมโยงเนื้อหาอย่างมีนัยสำคัญผ่านเทคโนโลยี เช่น กรอบงานการคัดกรองอัตโนมัติ โมเดลการทำความเข้าใจวิดีโอแบบ end-to-end CogVLM2-caption และตัวเข้ารหัสอัตโนมัติแบบแปรผันสามมิติที่มีประสิทธิภาพ (3D VAE) นอกจากนี้ สถาปัตยกรรม Transformer ที่พัฒนาขึ้นอย่างอิสระซึ่งรวมเอาข้อความ เวลา และพื้นที่สามมิติเข้าไว้ด้วยกัน ยังช่วยเพิ่มประสิทธิภาพการทำงานของโมเดลอีกด้วย
ในแง่ของการฝึกอบรม CogVideoX v1.5 สร้างเฟรมเวิร์กการฝึกอบรมโมเดลการแพร่กระจายที่มีประสิทธิภาพ และบรรลุการฝึกอบรมอย่างรวดเร็วสำหรับลำดับวิดีโอขนาดยาวผ่านการประมวลผลแบบขนานที่หลากหลายและเทคโนโลยีการปรับเวลาให้เหมาะสม Zhipu Huazhang กล่าวว่าพวกเขาได้ตรวจสอบประสิทธิผลของกฎหมายการปรับขนาดในด้านการสร้างวิดีโอแล้ว และวางแผนที่จะขยายปริมาณข้อมูลและขนาดของโมเดลในอนาคต และสำรวจสถาปัตยกรรมโมเดลที่เป็นนวัตกรรมเพื่อบีบอัดข้อมูลวิดีโอได้อย่างมีประสิทธิภาพมากขึ้นและผสานรวมข้อความและได้ดียิ่งขึ้น เนื้อหาวิดีโอ
รหัส: https://github.com/thudm/cogvideo
รุ่น : https://huggingface.co/THUDM/CogVideoX1.5-5B-SAT
โอเพ่นซอร์สของ CogVideoX v1.5 จะส่งเสริมการพัฒนาเทคโนโลยีและนวัตกรรมแอปพลิเคชันในด้านการสร้างวิดีโอต่อไปอย่างไม่ต้องสงสัย ทำให้นักพัฒนามีเครื่องมือและทรัพยากรที่ทรงพลังมากขึ้น รอคอยที่จะพบกับความประหลาดใจเพิ่มเติมจากซีรีส์ CogVideoX ในอนาคต!