La technologie actuelle de l'intelligence artificielle se développe rapidement et les capacités des assistants intelligents augmentent de jour en jour. Cependant, peuvent-ils faire face à des tâches contradictoires ? Les chercheurs ont conçu un test appelé « Instructions auto-contradictoires (SCI) » pour contester de grands modèles multimodaux contenant 20 000 instructions auto-contradictoires, couvrant des domaines linguistiques et visuels, comme demander de décrire le chien sur la photo du chat. Pour mieux générer ces instructions, les chercheurs ont également développé le cadre de création automatique d’ensembles de données AutoCreate. Cette recherche vise à explorer la capacité de l'IA à faire face à des instructions contradictoires et propose une méthode appelée Cognitive Awakening Prompting (CaP) pour améliorer la capacité de l'IA à résister au stress.
À l’ère où l’IA est omniprésente, nos exigences en matière d’assistants intelligents sont de plus en plus élevées. Non seulement vous devez être capable de parler avec éloquence, mais vous devez également être capable de lire des images et de lire des mots, de préférence avec un peu d'humour. Cependant, avez-vous déjà pensé que si vous confiez à l'IA une tâche contradictoire, elle s'écrasera sur place ? Par exemple, si vous lui demandez de mettre un éléphant dans le réfrigérateur sans lui permettre de refroidir, sera-t-il abasourdi ?
Afin de tester la capacité de ces IA à résister au stress, un groupe de chercheurs a pris un gros risque. Ils ont mené un test appelé Self-Contradictory Instructions (SCI), qui est tout simplement un défi mortel dans le monde de l'IA. Le test contient 20 000 instructions contradictoires couvrant à la fois les domaines verbal et visuel. Par exemple, on vous montre une photo d’un chat et on vous demande de décrire le chien. N'est-ce pas embarrassant pour les gens ? Oh non, c'est l'IA embarrassante.
Afin de rendre ce défi mortel plus excitant, les chercheurs ont également développé un cadre de création automatique d’ensembles de données appelé AutoCreate. Ce cadre est comme un professeur de questions infatigable qui peut générer automatiquement un grand nombre de questions diverses et de haute qualité. L’IA est très occupée actuellement.
Face à ces instructions confuses, comment l’IA devrait-elle réagir ? Cette méthode revient à équiper l’IA d’un détecteur de contradictions, lui permettant d’être plus débrouillarde lors du traitement de ces instructions.
Les chercheurs ont testé certains des modèles multimodaux à grande échelle les plus populaires et ont découvert que ces IA se comportaient comme des étudiants de première année maladroits face à des instructions contradictoires. Cependant, lorsque la méthode CaP a été utilisée, leurs performances ont été comme une illumination soudaine et leurs performances se sont considérablement améliorées.
Cette recherche nous fournit non seulement une nouvelle méthode de test de l’IA, mais indique également la direction du développement futur de l’IA. Bien que l'IA actuelle soit encore comme un enfant maladroit face à des instructions contradictoires, avec les progrès de la technologie, nous avons des raisons de croire que l'IA du futur deviendra plus intelligente et saura mieux gérer ce monde complexe plein de contradictions.
Peut-être qu'un jour, lorsque vous demanderez à l'IA de mettre l'éléphant au réfrigérateur, elle vous répondra avec humour : OK, je vais transformer l'éléphant en sculpture de glace, pour qu'il soit au réfrigérateur sans avoir froid.
Adresse papier : https://arxiv.org/pdf/2408.01091
Page du projet : https://selfcontradiction.github.io/
Cette recherche fournit des informations précieuses sur l’évaluation et l’amélioration de la capacité de l’IA à traiter des informations complexes et contradictoires, et annonce également des progrès dans la capacité de l’IA à relever des défis complexes du monde réel. À l’avenir, l’IA pourrait être en mesure de réagir plus gracieusement à diverses situations contradictoires et de démontrer une plus grande capacité d’adaptation et de résolution de problèmes.