A tecnologia atual de inteligência artificial está se desenvolvendo rapidamente e as capacidades dos assistentes inteligentes estão aumentando a cada dia. No entanto, eles podem lidar com tarefas contraditórias? Os pesquisadores desenvolveram um teste chamado “Instruções Autocontraditórias (SCI)” para desafiar grandes modelos multimodais com 20.000 instruções autocontraditórias, abrangendo domínios de linguagem e visuais, como pedir para descrever o cachorro na foto do gato. Para gerar melhor essas instruções, os pesquisadores também desenvolveram a estrutura de criação automática de conjuntos de dados AutoCreate. Esta pesquisa visa explorar a capacidade da IA de lidar com instruções contraditórias e propõe um método chamado Alerta de Despertar Cognitivo (CaP) para melhorar a capacidade da IA de resistir ao estresse.
Nesta era em que a IA está voando por toda parte, nossos requisitos para assistentes inteligentes estão cada vez maiores. Você não deve apenas ser capaz de falar com eloquência, mas também ser capaz de ler imagens e palavras, de preferência com um pouco de humor. No entanto, você já pensou que se você der à IA uma tarefa contraditória, ela irá falhar na hora. Por exemplo, se você pedir para ela colocar um elefante na geladeira sem permitir que o elefante esfrie, não é?
Para testar a capacidade dessas IAs de resistir ao estresse, um grupo de pesquisadores assumiu um grande risco. Eles conduziram um teste chamado Instruções Autocontraditórias (SCI), que é simplesmente um desafio mortal no mundo da IA. O teste contém 20.000 instruções contraditórias cobrindo os domínios verbal e visual. Por exemplo, é mostrada a você a foto de um gato e solicitado que descreva o cachorro. Isso não é constrangedor para as pessoas? Ah, não, é constrangedor para a IA.
Para tornar este desafio da morte mais emocionante, os pesquisadores também desenvolveram uma estrutura automática de criação de conjuntos de dados chamada AutoCreate. Essa estrutura é como um professor de perguntas incansável que pode gerar automaticamente um grande número de perguntas diversas e de alta qualidade. AI está muito ocupada agora.
Diante dessas instruções confusas, como a IA deveria responder? Os pesquisadores deram à IA uma injeção preocupante chamada Alerta do Despertar Cognitivo (CaP). Este método é como equipar a IA com um detector de contradições, permitindo-lhe ter mais recursos no processamento dessas instruções.
Os pesquisadores testaram alguns dos modelos multimodais de grande escala mais populares e descobriram que essas IAs se comportavam como calouros de faculdade idiotas quando confrontados com instruções contraditórias. No entanto, quando o método CaP foi usado, seu desempenho foi como uma iluminação repentina e melhorou significativamente.
Esta pesquisa não apenas nos fornece um novo método de teste de IA, mas também aponta a direção para o desenvolvimento futuro da IA. Embora a IA atual ainda seja como uma criança desajeitada ao lidar com instruções contraditórias, com o avanço da tecnologia, temos motivos para acreditar que a IA do futuro se tornará mais inteligente e saberá melhor como lidar com este mundo complexo e cheio de contradições.
Talvez um dia, quando você pedir à IA para colocar o elefante na geladeira, ela responderá espirituosamente: OK, vou transformar o elefante em uma escultura de gelo, para que fique na geladeira sem esfriar.
Endereço do artigo: https://arxiv.org/pdf/2408.01091
Página do projeto: https://selfcontradiction.github.io/
Esta investigação fornece informações valiosas sobre a avaliação e melhoria da capacidade da IA para lidar com informações complexas e contraditórias, e também anuncia avanços na capacidade da IA para enfrentar desafios complexos do mundo real. No futuro, a IA poderá ser capaz de responder a várias situações contraditórias de forma mais elegante e demonstrar maior adaptabilidade e capacidade de resolução de problemas.