Сегодняшние технологии искусственного интеллекта стремительно развиваются, и возможности интеллектуальных помощников растут с каждым днем. Однако смогут ли они справиться с противоречивыми задачами? Исследователи разработали тест под названием «Самопротиворечивые инструкции (SCI)», чтобы бросить вызов большим мультимодальным моделям с 20 000 противоречивыми инструкциями, охватывающими языковые и визуальные области, например, просьбу описать собаку на фотографии кошки. Чтобы лучше генерировать эти инструкции, исследователи также разработали платформу автоматического создания наборов данных AutoCreate. Это исследование направлено на изучение способности ИИ справляться с противоречивыми инструкциями и предлагает метод под названием «Когнитивное пробуждение» (CaP), чтобы улучшить способность ИИ противостоять стрессу.
В эпоху, когда ИИ летает повсюду, наши требования к умным помощникам становятся все выше и выше. Вы должны не только уметь красноречиво говорить, но также уметь читать картинки и слова, желательно с долей юмора. Однако задумывались ли вы когда-нибудь, что если дать ИИ противоречивое задание, он рухнет на месте? Например, если вы попросите его запихнуть слона в холодильник, не дав ему остыть, не так ли?
Чтобы проверить способность этих ИИ противостоять стрессу, группа исследователей пошла на большой риск. Они провели тест под названием «Самопротиворечивые инструкции» (SCI), который является просто смертельным испытанием в мире ИИ. Тест содержит 20 000 противоречивых инструкций, охватывающих как вербальную, так и визуальную сферу. Например, вам показывают изображение кошки и просят описать собаку. Разве это не смущает людей? О нет, это смущает ИИ.
Чтобы сделать эту проблему смерти более захватывающей, исследователи также разработали систему автоматического создания наборов данных под названием AutoCreate. Эта структура похожа на неутомимого учителя вопросов, который может автоматически генерировать большое количество качественных и разнообразных вопросов. ИИ сейчас очень занят.
Столкнувшись с этими запутанными инструкциями, как должен реагировать ИИ? Исследователи дали ИИ отрезвляющую инъекцию под названием «Подсказка когнитивного пробуждения» (CaP). Этот метод подобен оснащению ИИ детектором противоречий, позволяющему ему быть более изобретательным при обработке этих инструкций.
Исследователи протестировали некоторые из самых популярных крупномасштабных мультимодальных моделей и обнаружили, что эти ИИ вели себя как глупые первокурсники колледжа, когда сталкивались с противоречивыми инструкциями. Однако когда использовался метод CaP, их производительность была похожа на внезапное просветление, и их производительность значительно улучшилась.
Это исследование не только дает нам новый метод тестирования ИИ, но и указывает направление будущего развития ИИ. Хотя нынешний ИИ по-прежнему похож на неуклюжего ребенка, справляющегося с противоречивыми инструкциями, с развитием технологий у нас есть основания полагать, что в будущем ИИ станет умнее и будет лучше знать, как справляться с этим сложным миром, полным противоречия.
Возможно, однажды, когда вы попросите ИИ засунуть слона в холодильник, он остроумно ответит: ОК, я превращу слона в ледяную скульптуру, чтобы он лежал в холодильнике и не остывает.
Адрес статьи: https://arxiv.org/pdf/2408.01091.
Страница проекта: https://selfcontradiction.github.io/
Это исследование дает ценную информацию об оценке и улучшении способности ИИ обрабатывать сложную и противоречивую информацию, а также предвещает прогресс в способности ИИ решать сложные проблемы реального мира. В будущем ИИ, возможно, сможет более изящно реагировать на различные противоречивые ситуации и демонстрировать более высокую адаптивность и способность решать проблемы.