ในสาขาปัญญาประดิษฐ์ความก้าวหน้าที่ปฏิวัติวงการกำลังปรับเปลี่ยนวิธีที่เราโต้ตอบกับคอมพิวเตอร์ Kunlun Wanwei ได้เข้าร่วมกับสถาบันชั้นนำเช่นสถาบันวิจัยปัญญาประดิษฐ์ของปักกิ่ง Zhiyuan, มหาวิทยาลัยเทคโนโลยี Nanyang Nanyang และมหาวิทยาลัยปักกิ่งเพื่อร่วมกันเปิดกรอบการควบคุมคอมพิวเตอร์ทั่วไปที่เรียกว่า Cradle กรอบ AI ที่เป็นนวัตกรรมนี้แบ่งผ่านข้อ จำกัด ของตัวแทนดั้งเดิมทำให้พวกเขาสามารถจัดการแป้นพิมพ์และเมาส์ได้โดยตรงเช่นมนุษย์โต้ตอบกับซอฟต์แวร์เปิดหรือปิดที่หลากหลายโดยไม่ต้องพึ่งพา API ภายในใด ๆ Cradle มีความโดดเด่นในการเป็นเฟรมเวิร์ก AI แรกที่สามารถควบคุมเกมเชิงพาณิชย์หลายเกมและใช้งานแอพพลิเคชั่นซอฟต์แวร์ต่างๆ พลังใหม่
Cradle เป็นสิ่งที่น่าอัศจรรย์ในการใช้งานจริงแสดงความสามารถที่เหนือกว่าในเกมหลายประเภท จากการทำภารกิจหลัก 40 นาทีใน Red Dead 2 ไปจนถึงฟาร์มอย่างพิถีพิถันและช็อปปิ้งใน Stardew Valley; . ไม่เพียงแค่นั้นยังสามารถมีความเชี่ยวชาญในซอฟต์แวร์สำนักงานประจำวันเช่น Chrome, Outlook, Feishu ฯลฯ และยังสามารถทำการแก้ไขภาพถ่ายมืออาชีพและการแก้ไขวิดีโอกลายเป็นผู้ช่วย AI ทุกรอบอย่างแท้จริง
ความสำเร็จของ Cradle ต้องขอบคุณสถาปัตยกรรมระบบที่ยอดเยี่ยมซึ่งประกอบด้วยองค์ประกอบหลักหกประการ: การรวบรวมข้อมูลการสะท้อนตนเองการอนุมานงานการจัดการทักษะการวางแผนการดำเนินการและโมดูลหน่วยความจำ โดยการห่อหุ้มอย่างชาญฉลาดและสรุปอินพุตและเอาต์พุตดั้งเดิม Cradle ช่วยให้การโต้ตอบกับคอมพิวเตอร์เป็นธรรมชาติ มันใช้ภาพวิดีโอที่แสดงบนหน้าจอเป็นแหล่งอินพุตหลักแยกข้อมูลข้อความและภาพจากมันเพื่อการตัดสินใจและสัญญาณเอาต์พุตที่ควบคุมแป้นพิมพ์และเมาส์ โดยเฉพาะอย่างยิ่งคุ้มค่าที่จะกล่าวถึงว่าโมดูลการตัดสินใจและการให้เหตุผลของ Cradle สามารถโต้ตอบกับซอฟต์แวร์และงานที่สมบูรณ์และดำเนินการผ่านการสะท้อนในอดีตสรุปปัจจุบันและวางแผนอนาคตแสดงรูปแบบการคิดเหมือนมนุษย์
ในการทดสอบจริงประสิทธิภาพของ Cradle พิสูจน์ให้เห็นถึงความเก่งกาจอย่างเต็มที่ มันสามารถทำงานที่ซับซ้อนในเกมที่มีสไตล์และวิธีการทำงานที่แตกต่างอย่างสิ้นเชิงและยังสามารถทำงานต่าง ๆ ได้อย่างง่ายดายในซอฟต์แวร์ทั่วไปเช่นการดาวน์โหลดเอกสารทางวิชาการการส่งอีเมลการประมวลผลภาพการแก้ไขวิดีโอ ฯลฯ สิ่งที่น่าทึ่งยิ่งกว่านั้นคือ Cradle ยังเอาชนะวิธีพื้นฐานโดยใช้แท็กความจริงในการทดสอบมาตรฐาน Osworld ที่ท้าทายแสดงให้เห็นถึงความสามารถในการเรียนรู้ที่แข็งแกร่งและความสามารถในการปรับตัว
การเปิดตัว Cradle เป็นขั้นตอนสำคัญในการพัฒนาตัวแทน GCC ไม่เพียง แต่ส่งเสริมการพัฒนาอินเทอร์เฟซอินพุตและเอาต์พุตแบบครบวงจรวางรากฐานที่มั่นคงสำหรับการโต้ตอบในอนาคตและการพัฒนาตัวเองของตัวแทนในสภาพแวดล้อมที่แตกต่างกัน แต่ยังเป็นขั้นตอนที่สำคัญในการบรรลุเป้าหมายของปัญญาประดิษฐ์ทั่วไป (AGI) การเกิดของกรอบนวัตกรรมนี้มีแนวโน้มที่จะปฏิวัติวิธีที่เราโต้ตอบกับคอมพิวเตอร์และเปิดยุคใหม่ของการทำงานร่วมกันของมนุษย์กับคอมพิวเตอร์
หน้าแรกของโครงการ: https://baai-agents.github.io/cradle
ลิงค์รหัส: https://github.com/baai-agents/cradle