Baidu ได้เปิดตัว PaddleMIX 2.0 ซึ่งเป็นชุดพัฒนาโมเดลขนาดใหญ่หลายรูปแบบที่ออกแบบมาเพื่อลดความซับซ้อนของกระบวนการพัฒนาแอปพลิเคชัน AI หลายรูปแบบ โดยผสานรวมข้อมูลโมดัลหลายรายการ เช่น รูปภาพ ข้อความ เสียง และวิดีโอ และรองรับสถานการณ์การใช้งานที่หลากหลาย เช่น การขับขี่อัตโนมัติ การดูแลทางการแพทย์อัจฉริยะ และเครื่องมือค้นหา PaddleMIX 2.0 มอบไลบรารีโมเดลที่หลากหลาย ประสบการณ์การพัฒนาแบบ end-to-end และการฝึกอบรมและการอนุมานที่มีประสิทธิภาพสูง ซึ่งช่วยลดเกณฑ์สำหรับการพัฒนาโมเดลหลายรูปแบบลงอย่างมาก และมอบเครื่องมือและการสนับสนุนที่ครอบคลุมแก่นักพัฒนาเพื่อเร่งการใช้งานนวัตกรรม AI .
PaddleMIX2.0 เป็นชุดเครื่องมือพัฒนาโมเดลขนาดใหญ่หลายรูปแบบที่ Baidu เปิดตัว โดยผสานรวมข้อมูลหลายรูปแบบ เช่น กราฟิก ข้อความ เสียง และวิดีโอ และครอบคลุมสถานการณ์การใช้งานที่หลากหลายอย่างครอบคลุม เช่น การขับขี่อัตโนมัติ การดูแลทางการแพทย์อัจฉริยะ และเครื่องมือค้นหา และส่งเสริมการประยุกต์ใช้นวัตกรรมด้าน AI การเปิดตัว PaddleMIX 2.0 มีเป้าหมายเพื่อลดความยากในการพัฒนาสำหรับนักพัฒนาในสาขา multi-modal และให้การสนับสนุนอัลกอริธึมประสิทธิภาพสูง การพัฒนาที่สะดวก การฝึกอบรมที่มีประสิทธิภาพ และการใช้งานที่สมบูรณ์
จุดเด่นหลักสามประการของ PaddleMIX2.0 ได้แก่:
ไลบรารีโมเดลหลายรูปแบบที่หลากหลายครอบคลุมรูปแบบรูปภาพ ข้อความ วิดีโอ และเสียง และได้เพิ่มโมเดลที่ล้ำสมัย เช่น ซีรี่ส์ LLaVA
ประสบการณ์การพัฒนาแบบครบวงจรตั้งแต่ต้นจนจบ รวมถึงกล่องเครื่องมือการประมวลผลข้อมูลหลายรูปแบบ DataCopilot และโมดูล Auto ช่วยให้กระบวนการฝึกอบรมโมเดลขนาดใหญ่หลายรูปแบบง่ายขึ้น
ความสามารถในการฝึกอบรมและการส่งเสริมการขายขนาดใหญ่ที่มีประสิทธิภาพสูง โมเดล DiT รองรับการฝึกอบรมล่วงหน้าระดับ 3B ประสิทธิภาพชั้นนำ กลยุทธ์การฝึกอบรม MixToken ใหม่ ปริมาณงานการฝึกอบรมที่ได้รับการปรับปรุงอย่างมีนัยสำคัญ
นอกจากนี้ PaddleMIX2.0 ยังมีเครื่องมือ AppFlow ซึ่งสร้างแอปพลิเคชันหลายรูปแบบที่หลากหลายผ่านการผสมผสานไปป์ไลน์ และปลั๊กอิน ComfyUI ซึ่งรองรับความสามารถหลายรูปแบบ และทำให้การดำเนินงานของ AIGC ง่ายขึ้น นอกจากนี้ PaddleMIX2.0 ยังมีการปรับปรุงประสิทธิภาพที่สำคัญในการฝึกล่วงหน้าขนาดใหญ่ การฝึกแบบละเอียดที่มีประสิทธิภาพ และการอนุมานประสิทธิภาพสูง
หน้าแรกของโครงการโอเพ่นซอร์ส: https://github.com/PaddlePaddle/PaddleMIX
โดยรวมแล้ว PaddleMIX 2.0 ซึ่งมีฟังก์ชันอันทรงพลังและใช้งานง่าย ให้การสนับสนุนอย่างมากสำหรับการพัฒนาแอปพลิเคชัน AI แบบหลายรูปแบบ และสมควรได้รับความสนใจและความพยายามของนักพัฒนา ลักษณะโอเพ่นซอร์สของมันยังส่งเสริมการพัฒนาและแบ่งปันเทคโนโลยี AI อีกด้วย