การปรับปรุงประสิทธิภาพการใช้เหตุผลแบบจำลองขนาดใหญ่เป็นความท้าทายที่สำคัญในด้านปัญญาประดิษฐ์ ภาระการใช้เหตุผลสูงค่าใช้จ่ายสูงและเวลาตอบสนองที่ยาวนาน จำกัด การประยุกต์ใช้โมเดลขนาดใหญ่อย่างจริงจัง เพื่อแก้ปัญหาเหล่านี้ Kimi ได้ร่วมมือกับห้องปฏิบัติการ Madsys ของมหาวิทยาลัย Tsinghua เพื่อพัฒนาระบบการให้เหตุผลเกี่ยวกับมูนเค้กร่วมกันตาม KVCache และได้รับการปล่อยตัวอย่างเป็นทางการในเดือนมิถุนายน 2567 ระบบใช้สถาปัตยกรรมการแยก PD ที่เป็นนวัตกรรมและแนวคิดของการคำนวณการต่ออายุซึ่งช่วยเพิ่มปริมาณการอนุมานอย่างมีนัยสำคัญ เพื่อส่งเสริมแอปพลิเคชันเทคโนโลยีและความนิยมโครงการ Mooncake เป็นโอเพ่นซอร์สอย่างเป็นทางการ
ห้องปฏิบัติการ Kimi Company และ Madsys ของมหาวิทยาลัย Tsinghua เปิดตัวโซลูชั่นการออกแบบระบบการให้เหตุผลของเค้กเค้ก KVCache ซึ่งได้รับการปล่อยตัวอย่างเป็นทางการในเดือนมิถุนายน 2567
ระบบการให้เหตุผลของขนมไหว้พระจันทร์ได้ปรับปรุงปริมาณการใช้เหตุผลอย่างมีนัยสำคัญผ่านสถาปัตยกรรมการแยก PD ที่เป็นนวัตกรรมและแนวคิดของการคำนวณการต่ออายุเพื่อดึงดูดความสนใจของอุตสาหกรรมอย่างกว้างขวาง เพื่อส่งเสริมการใช้งานและความนิยมของกรอบเทคนิคนี้ห้องปฏิบัติการ Madsys ของมหาวิทยาลัย Kimi และ Tsinghua ได้เปิดตัว Multi -Enerprise เช่น 9#Aisoft, Alibaba Cloud, Huawei Storage ฯลฯ และเปิดตัวโครงการ Mooncake โอเพนซอร์ส เมื่อวันที่ 28 พฤศจิกายนกรอบเทคนิคของ Mooncake ได้เปิดตัวอย่างเป็นทางการบนแพลตฟอร์ม GitHub
โครงการโอเพนซอร์ส Mooncake หมุนรอบสระแคช KVCache ขนาดใหญ่และมุ่งมั่นที่จะไปที่ Mooncake Store ซึ่งทุ่มเทให้กับโอเพ่นซอร์สและประสิทธิภาพสูงผ่านขั้นตอน ในขณะเดียวกันโครงการจะเข้ากันได้กับเครื่องมือที่ให้เหตุผลหลายอย่างและแหล่งเก็บข้อมูลพื้นฐานและทรัพยากรการส่งข้อมูล
ในปัจจุบันส่วนหนึ่งของเครื่องยนต์การถ่ายโอนเครื่องมือส่งกำลังเปิดให้ทั่วโลกใน GitHub แล้ว เป้าหมายสูงสุดของโครงการ Mooncake คือการสร้างอินเทอร์เฟซมาตรฐานสำหรับการจัดเก็บหน่วยความจำที่มีประสิทธิภาพสูงใหม่สำหรับยุคของโมเดลขนาดใหญ่และจัดหาโซลูชันการใช้งานอ้างอิงที่เกี่ยวข้อง
Xu Xinran รองประธานรองประธานฝ่ายวิศวกรรมของ Kimi กล่าวว่า: "โดยการทำงานอย่างใกล้ชิดกับ Madsys Laboratory ของมหาวิทยาลัย Tsinghua เราได้สร้างสถาปัตยกรรม Mooncake ที่มีเหตุผลขนาดใหญ่ที่แยกจากกันเพื่อให้ได้การเพิ่มประสิทธิภาพทรัพยากรการใช้เหตุผล
Mooncake ไม่เพียง แต่ปรับปรุงประสบการณ์ผู้ใช้เท่านั้น แต่ยังช่วยลดค่าใช้จ่ายให้โซลูชั่นที่มีประสิทธิภาพสำหรับการจัดการข้อความที่ยาวนานและความต้องการที่สูงและสูง "เขาหวังว่าจะได้องค์กรและสถาบันวิจัยมากขึ้นเพื่อเข้าร่วมโครงการ Mooncake เพื่อสำรวจสถาปัตยกรรมระบบการให้เหตุผลแบบจำลองที่มีประสิทธิภาพมากขึ้นเพื่อให้ผู้ช่วย AI และผลิตภัณฑ์ขนาดใหญ่อื่น ๆ สามารถเป็นประโยชน์ต่อผู้คนในวงกว้าง
ทางเข้าโครงการ: https: //github.com/kvcache- ai/mooncake
คะแนน:
มหาวิทยาลัย Kimi และ Tsinghua ร่วมกันเปิดตัวระบบการให้เหตุผลของ Mooncake เพื่อปรับปรุงประสิทธิภาพของการใช้เหตุผล AI
โครงการ Mooncake เปิดให้บริการบน GitHub ซึ่งมีจุดมุ่งหมายเพื่อสร้างอินเทอร์เฟซมาตรฐานหน่วยความจำที่มีประสิทธิภาพสูง
รอคอยการมีส่วนร่วมขององค์กรและสถาบันการวิจัยเพิ่มเติมเพื่อส่งเสริมความคืบหน้าของเทคโนโลยี AI
การเปิดตัวโครงการโอเพนซอร์ส Mooncake เป็นเครื่องหมายว่าสถาปัตยกรรมของระบบการให้เหตุผลแบบจำลองขนาดใหญ่ได้ย้ายไปสู่ขั้นตอนใหม่ ประสิทธิภาพที่มีประสิทธิภาพและรูปแบบความร่วมมือแบบเปิดจะส่งเสริมความก้าวหน้าและการประยุกต์ใช้เทคโนโลยีปัญญาประดิษฐ์อย่างมีประสิทธิภาพและมีส่วนช่วยในการสร้างโลกที่ชาญฉลาดยิ่งขึ้น