오늘날 인공지능 기술은 급속도로 발전하고 있으며, 지능형 비서의 역량도 날로 증가하고 있습니다. 하지만 과연 이들이 모순된 업무를 감당할 수 있을까요? 연구진은 고양이 사진 속의 개를 묘사하도록 요구하는 등 언어 및 시각적 영역을 다루는 20,000개의 자기모순 지침을 사용하여 대규모 다중 모드 모델에 도전하는 "자기모순 지침(SCI)"이라는 테스트를 설계했습니다. 이러한 지침을 더 잘 생성하기 위해 연구원들은 AutoCreate 자동 데이터 세트 생성 프레임워크도 개발했습니다. 본 연구는 모순된 지시에 대처하는 AI의 능력을 탐구하는 것을 목표로 하며, AI의 스트레스 견디는 능력을 향상시키기 위해 CaP(Cognitive Awakening Prompting)라는 방법을 제안합니다.
AI가 어디든 날아다니는 시대에 스마트 비서에 대한 요구 사항은 점점 더 높아지고 있습니다. 유창하게 말할 수 있어야 할 뿐만 아니라, 그림을 읽고 단어를 읽을 수 있어야 하며, 가급적 약간의 유머가 있어야 합니다. 그런데 AI에게 모순된 작업을 주면 그 자리에서 충돌이 일어날 것이라고 생각해 본 적이 있나요? 예를 들어, 코끼리를 식히지 않고 냉장고에 넣어달라고 하면 어이가 없을까요?
이러한 AI가 스트레스를 견딜 수 있는 능력을 테스트하기 위해 연구자 그룹은 큰 위험을 감수했습니다. 그들은 AI 세계에서 그야말로 죽음의 도전에 불과한 자기모순 지시(SCI)라는 테스트를 실시했다. 이 테스트에는 언어적 영역과 시각적 영역을 모두 포괄하는 20,000개의 모순되는 지시 사항이 포함되어 있습니다. 예를 들어, 고양이 사진을 보여주고 개에 대해 설명하도록 요청합니다. 이 사람들이 부끄럽지 않습니까? 아, 부끄러운 AI입니다.
이 죽음의 도전을 더욱 흥미롭게 만들기 위해 연구원들은 AutoCreate라는 자동 데이터 세트 생성 프레임워크도 개발했습니다. 이 프레임워크는 고품질의 다양한 질문을 자동으로 생성할 수 있는 지칠 줄 모르는 질문 교사와 같습니다. AI는 지금 매우 바쁩니다.
이러한 혼란스러운 지시에 직면하여 AI는 어떻게 대응해야 합니까? 연구자들은 AI에게 CaP(인지 각성 유도)라는 냉정한 기회를 주었습니다. 이 방법은 AI에 모순 탐지기를 장착하는 것과 같기 때문에 이러한 명령을 처리할 때 더 많은 리소스를 활용할 수 있습니다.
연구원들은 가장 인기 있는 대규모 다중 모드 모델 중 일부를 테스트한 결과 이러한 AI가 모순된 지시에 직면했을 때 바보 같은 대학 신입생처럼 행동한다는 사실을 발견했습니다. 그러나 CaP 방식을 사용했을 때 그들의 성능은 마치 깨달음과 같았으며 성능이 크게 향상되었습니다.
이번 연구는 새로운 AI 테스트 방법을 제시할 뿐만 아니라 AI의 미래 발전 방향을 제시한다. 현재의 AI는 여전히 모순된 지시를 처리하는 서투른 아이와 같지만, 기술의 발전으로 우리는 미래의 AI가 더 똑똑해지고, 복잡한 세상을 다루는 방법을 더 잘 알게 될 것이라고 믿을 이유가 있습니다. 모순.
어쩌면 어느 날 AI에게 코끼리를 냉장고에 넣어달라고 요청하면 AI는 재치있게 대답할 것입니다. "좋아, 코끼리가 얼음 조각상으로 변해 냉장고에 차가워지지 않게 할게요."
논문 주소: https://arxiv.org/pdf/2408.01091
프로젝트 페이지: https://selfcontradiction.github.io/
이 연구는 복잡하고 모순된 정보를 처리하는 AI의 능력을 평가하고 개선하는 데 귀중한 통찰력을 제공하며, 복잡한 실제 문제를 해결하는 AI 능력의 발전을 예고합니다. 앞으로 AI는 다양한 모순된 상황에 더욱 우아하게 대응하고, 더욱 강력한 적응력과 문제 해결 능력을 발휘할 수 있을 것입니다.