เมื่อเร็วๆ นี้ ทีม Zhipu AI ของมหาวิทยาลัยชิงหัวได้เปิดตัว CogAgent โมเดลภาษาภาพใหม่ ซึ่งมีจุดมุ่งหมายเพื่อปรับปรุงความสามารถในการทำความเข้าใจและการควบคุมคอมพิวเตอร์ของอินเทอร์เฟซผู้ใช้แบบกราฟิก (GUI) โมเดลนี้ใช้ระบบตัวเข้ารหัสคู่ที่สามารถประมวลผลภาพความละเอียดสูงและองค์ประกอบ GUI ที่ซับซ้อนได้อย่างมีประสิทธิภาพ และแสดงประสิทธิภาพที่ยอดเยี่ยมในงานต่างๆ เช่น การนำทาง GUI การตอบคำถามด้วยข้อความและภาพบนแพลตฟอร์มพีซีและ Android การเกิดขึ้นของ CogAgent มอบความเป็นไปได้ใหม่ๆ ในการดำเนินการ GUI โดยอัตโนมัติ ให้ความช่วยเหลือและคำแนะนำเกี่ยวกับ GUI และสร้างสรรค์การออกแบบ GUI และวิธีการโต้ตอบ และคาดว่าจะเปลี่ยนรูปแบบการโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์อย่างมีนัยสำคัญ
ทีม Zhipu AI ของมหาวิทยาลัย Tsinghua เปิดตัว CogAgent ซึ่งเป็นโมเดลภาษาภาพที่มุ่งเน้นการปรับปรุงความเข้าใจและการนำทางของอินเทอร์เฟซผู้ใช้แบบกราฟิก (GUI) โดยใช้ระบบตัวเข้ารหัสคู่เพื่อประมวลผลองค์ประกอบ GUI ที่ซับซ้อน โมเดลนี้ทำงานได้ดีในการประมวลผลอินพุตความละเอียดสูง การนำทาง GUI บนพีซีและแพลตฟอร์ม Android และงานตอบคำถามด้วยข้อความและภาพ แอปพลิเคชันที่เป็นไปได้ของ CogAgent ได้แก่ การดำเนินการ GUI อัตโนมัติ การให้ความช่วยเหลือและคำแนะนำเกี่ยวกับ GUI และส่งเสริมการออกแบบ GUI ใหม่และวิธีการโต้ตอบ แม้ว่าจะยังอยู่ในช่วงเริ่มต้นของการพัฒนา แต่โมเดลนี้สัญญาว่าจะนำไปสู่การเปลี่ยนแปลงที่สำคัญในวิธีที่คอมพิวเตอร์โต้ตอบกัน
การเปิดตัวโมเดล CogAgent ถือเป็นความก้าวหน้าครั้งสำคัญของเทคโนโลยีการโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์ ความก้าวหน้าที่ก้าวหน้าในการทำความเข้าใจและการนำทางของ GUI ได้วางรากฐานที่มั่นคงสำหรับประสบการณ์ปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์ที่ชาญฉลาดและสะดวกยิ่งขึ้นในอนาคต เราหวังว่าจะมีการพัฒนา CogAgent ในภายหลังเพื่อให้ผู้ใช้มีสถานการณ์การใช้งานที่สมบูรณ์ยิ่งขึ้นและประสบการณ์การโต้ตอบที่ราบรื่นยิ่งขึ้น