Auf dem Gebiet der künstlichen Intelligenz verändert ein revolutionärer Durchbruch die Art und Weise, wie wir mit Computern interagieren. Kunlun Wanwei hat sich den Top-Institutionen wie Peking Zhiyuan Artificial Intelligence Research Institute, Singapur Nanyang Technological University und der Peking University zusammengetan, um gemeinsam einen allgemeinen Computerkontrollrahmen namens Cradle zu starten. Dieser innovative KI -Framework durchbricht die Grenzen traditioneller Agenten und ermöglicht es ihnen, Tastaturen und Maus wie Menschen direkt zu manipulieren, und interagieren nahtlos mit verschiedenen offenen oder geschlossenen Source -Software, ohne sich auf interne APIs zu verlassen. Cradle ist insofern einzigartig, als es das erste KI -Framework ist, das gleichzeitig mehrere kommerzielle Spiele steuern und verschiedene Softwareanwendungen betreiben kann. Neue Vitalität.
Cradle ist in praktischen Anwendungen erstaunlich und zeigt seine überlegenen Fähigkeiten in vielen verschiedenen Arten von Spielen. Von der Abschluss einer 40-minütigen Hauptmission in Red Dead 2 bis hin zu Bauernhöfen und Einkaufsmöglichkeiten in Stredew Valley; . Nicht nur das, es kann auch in täglichen Bürosoftware wie Chrome, Outlook, Feishu usw. ausmachen und sogar professionelle Fotobearbeitung und Videobearbeitung durchführen und wirklich ein Allround-KI-Assistent werden.
Der Erfolg von Cradle ist seiner exquisiten Systemarchitektur zu verdanken, die aus sechs Kernkomponenten besteht: Informationssammlung, Selbstreflexion, Aufgabeninferenz, Kompetenzmanagement, Aktionsplanung und Speichermodule. Durch die clevere Einkapselung und Abtraktion der ursprünglichen Eingabe und Ausgabe ermöglicht Cradle eine natürliche Interaktion mit dem Computer. Es verwendet das auf dem Bildschirm angezeigte Videobild als Haupteingangsquelle, extrahiert Text und visuelle Informationen zur Entscheidungsfindung und gibt Signale aus, die die Tastatur und die Maus steuern. Es ist besonders erwähnenswert, dass das Entscheidungs- und Argumentationsmodul von Cradle spontan mit der Software und den vollständigen Aufgaben interagieren und durch Reflexion in der Vergangenheit agieren, die Gegenwart zusammenfassen und die Zukunft planen, ein menschlichähnliches Denkmodell zeigen.
Bei der tatsächlichen Prüfung beweist Cradles Leistung voll und ganz seine Vielseitigkeit. Es kann komplexe Aufgaben in Spielen mit völlig unterschiedlichen Stilen und Betriebsmethoden erledigen und auch mit Leichtigkeit in gemeinsamer Software verschiedene Aufgaben ausführen, z. B. das Herunterladen von akademischen Papieren, das Senden von E -Mails, Bildverarbeitung, Videobearbeitung usw. Noch bemerkenswerter ist, dass Cradle die Basismethode mit Wahrheits -Tags im herausfordernden Benchmark -Osworld -Test sogar übertrifft und seine starke Lernfähigkeit und Anpassungsfähigkeit demonstriert.
Der Start von Cradle ist ein wichtiger Schritt bei der Entwicklung von GCC -Agenten. Es fördert nicht nur die Entwicklung einheitlicher Eingangs- und Ausgangsschnittstellen, sondern legt eine solide Grundlage für die zukünftige Interaktion und die Selbstverbesserung von Agenten in verschiedenen Umgebungen, sondern unternimmt auch einen kritischen Schritt, um das Ziel der allgemeinen künstlichen Intelligenz (AGI) zu erreichen. Die Geburt dieses innovativen Rahmens wird wahrscheinlich die Art und Weise, wie wir mit Computern interagieren, revolutionieren und eine neue Ära der Zusammenarbeit zwischen Mensch und Computer eröffnen.
Projekt Homepage: https://baai-agents.github.io/cradle
Code-Link: https://github.com/baai-agents/cradle