Caiyun Technology เปิดตัวรุ่นใหญ่ทั่วไป "Yun Jintianzhang" และ Caiyun Xiaomeng v3.5 เวอร์ชั่นตามสถาปัตยกรรม DCFORMER ซึ่งเป็นความก้าวหน้าครั้งสำคัญในประสิทธิภาพของสถาปัตยกรรมแบบจำลองในสาขา AI สถาปัตยกรรม DCFORMER ปรับปรุงความสามารถในการแสดงออกของแบบจำลองอย่างมีนัยสำคัญผ่านกลไกความสนใจหลายหัวแบบผสมผสานแบบไดนามิกแก้ปัญหาความไร้ประสิทธิภาพของสถาปัตยกรรมหม้อแปลงแบบดั้งเดิมและตอบสนองต่อความท้าทายด้านพลังงานที่เผชิญกับการพัฒนา AI นวัตกรรมนี้ได้รับการตีพิมพ์ในการประชุมระดับนานาชาติ ICML และได้รับการยกย่องอย่างสูง
ในสาขาของ AI สถาปัตยกรรมของหม้อแปลงได้รับการสนับสนุนทางเทคนิคหลักสำหรับรุ่นใหญ่เช่น Chatgpt และ Gemini ในปีนี้กระดาษของ Caiyun Technology "ปรับปรุงหม้อแปลงด้วยความสนใจแบบหลายหัวแบบไดนามิกที่ตีพิมพ์ในการประชุมระดับนานาชาติ ICML เป็นคนแรกที่เสนอสถาปัตยกรรม DCFormer การทดสอบแสดงให้เห็นว่าโมเดล DCPYTHIA-6.9B พัฒนาขึ้นจากสถาปัตยกรรมนี้ได้รับการปรับปรุงอย่างมีนัยสำคัญ 1.7-2 เท่าของประสิทธิภาพในการทำงานกับโมเดลหม้อแปลงแบบดั้งเดิม เกี่ยวกับความท้าทายด้านพลังงานที่ต้องเผชิญกับการพัฒนา AI, Yuan Xingyuan ซีอีโอของ Caiyun Technology ชี้ให้เห็นว่าจากการคาดการณ์การใช้พลังงาน AI ทั่วโลกอาจถึง 8 เท่าของกำลังการผลิตไฟฟ้าของโลกในปี 2050 Huang Renxun ซีอีโอของ Nvidia กล่าวอย่างชัดเจนว่าด้วยความเร็วในการพัฒนาในปัจจุบัน "ดาวเคราะห์ 14 ดวง, กาแลคซี 3 แห่งและ 4 Suns" อาจจำเป็นต้องใช้ในอนาคตเพื่อให้การสนับสนุนพลังงานสำหรับ AI ในการตอบสนองต่อภาวะที่กลืนไม่เข้าคายไม่ออกนี้เทคโนโลยี Caiyun เลือกที่จะเริ่มต้นจากการปรับปรุงสถาปัตยกรรมพื้นฐานของแบบจำลอง ด้วยการแนะนำกลไกความสนใจหลายหัว (DCMHA) แบบผสมผสานแบบไดนามิก DCFORMER ได้ลบการจับหัวความสนใจคงที่ในโมดูลความสนใจแบบหลายหัวแบบดั้งเดิม (MHA) ซึ่งทำให้เกิดการผสมผสานแบบไดนามิกที่ยืดหยุ่นมากขึ้น นวัตกรรมนี้ทำให้เทคโนโลยี Caiyun ทำคะแนนเฉลี่ย 7 คะแนนสูงในเอกสารสามฉบับในการประชุม ICML และได้กลายเป็นหนึ่งในสอง บริษัท ในประเทศจีนที่ได้รับเชิญให้กล่าวสุนทรพจน์ที่ ICML2024 ในเวียนนา ในฐานะที่เป็นผลิตภัณฑ์แรกของสถาปัตยกรรม DCFORMER เวอร์ชันใหม่ของ Caiyun Xiaomeng ได้แสดงประสิทธิภาพที่ยอดเยี่ยม: รองรับ 10,000 คำของการป้อนข้อความยาวความยาวการตั้งค่าพื้นหลังเรื่องราวสามารถเข้าถึง 10,000 คำและความคล่องแคล่วและการเชื่อมโยงโดยรวมได้รับการปรับปรุง 20% ซึ่งหมายความว่า AI สามารถรักษาความเชื่อมโยงของพล็อตได้ดีขึ้นรักษาความสอดคล้องของบุคลิกของตัวละครและมีความสามารถในการไตร่ตรองและแก้ไขแผนการที่ถูกต้อง ในฐานะหนึ่งใน บริษัท แรกสุดในประเทศจีนที่มีส่วนร่วมในรูปแบบภาษาขนาดใหญ่ปัจจุบัน Caiyun Technology มีผลิตภัณฑ์ AI ที่ทำกำไรได้สามรายการ ได้แก่ Caiyun Weather, Caiyun Xiaomeng และ Caiyun Xiaoyi บริษัท กล่าวว่าจะยังคงเพิ่มการลงทุนด้านการวิจัยและพัฒนาใน DCFormer และมุ่งมั่นที่จะทำลายรูปแบบดั้งเดิมของ "ชั้นเทคโนโลยีต่างประเทศและเลเยอร์แอปพลิเคชันในประเทศ" และส่งเสริมเทคโนโลยี AI ในประเทศเพื่อดำรงตำแหน่งที่ได้เปรียบในการแข่งขันระดับโลก ผ่านการพัฒนาทางเทคโนโลยีนี้เทคโนโลยี Caiyun ไม่เพียง แต่แสดงให้เห็นถึงความแข็งแกร่งของ บริษัท จีนในนวัตกรรมของสถาปัตยกรรมพื้นฐานของ AI แต่ยังให้แนวคิดใหม่สำหรับการแก้ปัญหาคอขวดพลังงานในการพัฒนา AI ซึ่งคาดว่าจะเร่งการพัฒนาเทคโนโลยี AI อย่างยั่งยืนอย่างยั่งยืน .
นวัตกรรมของ Caiyun Technology ได้นำความหวังใหม่มาสู่การพัฒนา AI