В области искусственного интеллекта революционный прорыв изменяет способ взаимодействия с компьютерами. Kunlun Wanwei присоединился к ведущим институтам, таким как Пекин Чийюанский научно-исследовательский институт искусственного интеллекта, Сингапурский Технологический университет Нанян и Пекинский университет, чтобы совместно запустить общую структуру компьютерного контроля под названием Cradle. Эта инновационная структура искусственного интеллекта прорывается через ограничения традиционных агентов, позволяя им непосредственно манипулировать клавиатурами и мышью, как люди, беспрепятственно взаимодействуют с различным программным обеспечением с открытым или закрытым исходным кодом, не полагаясь на какие -либо внутренние API. Cradle уникален тем, что это первая структура AI, которая может одновременно контролировать несколько коммерческих игр и использовать различные программные приложения. Новая жизнеспособность.
Cradle удивительна в практических приложениях, демонстрируя свои превосходные возможности во многих различных типах игр. От завершения 40-минутной основной миссии в Red Dead 2 до тщательно ухаживающих за фермами и покупки в Стардовой долине; Полем Мало того, это также может быть опытным в ежедневном офисном программном обеспечении, таком как Chrome, Outlook, Feishu и т. Д., И даже может выполнять профессиональное редактирование фотографий и редактирование видео, действительно становясь всесторонним помощником искусственного интеллекта.
Успех Cradle является благодаря его изысканной архитектуре системы, которая состоит из шести основных компонентов: сбора информации, саморефлексии, вывода задач, управления навыками, планирования действий и модулей памяти. Умно инкапсулируя и абстрагируя исходный ввод и вывод, Cradle обеспечивает естественное взаимодействие с компьютером. Он использует видео изображение, отображаемое на экране в качестве основного источника ввода, извлекает из него текстовую и визуальную информацию для принятия решений и выводит сигналы, которые управляют клавиатурой и мышью. Особенно стоит упомянуть, что модуль принятия решений и рассуждений Cradle может спонтанно взаимодействовать с программным обеспечением и полными задачами и работать посредством размышлений о прошлом, суммируя настоящее и планируя будущее, показывая модель мышления, похожей на человека.
В реальном тестировании производительность Cradle полностью доказывает свою универсальность. Он может выполнять сложные задачи в играх с совершенно разными стилями и методами работы, а также может выполнять различные задачи с легкостью в общем программном обеспечении, таких как загрузка академических документов, отправка электронных писем, обработка изображений, редактирование видео и т. Д. Что еще более примечательно, так это то, что Cradle даже превосходит базовый метод, используя теги истины в сложном тесте Osworld, демонстрируя его сильную способность к обучению и адаптивность.
Запуск Cradle отмечает важный шаг в разработке агентов GCC. Он не только способствует разработке единых входных и выходных интерфейсов, закладывает прочную основу для будущего взаимодействия и самосовершенствования агентов в разных средах, но также делает критический шаг для достижения цели общего искусственного интеллекта (AGI). Рождение этой инновационной структуры, вероятно, будет революционизировать то, как мы взаимодействуем с компьютерами и открываем новую эру сотрудничества человека-компьютеров.
Домашняя страница проекта: https://baai-agents.github.io/cradle
Ссылка на код: https://github.com/baai-agents/cradle