Die heutige Technologie der künstlichen Intelligenz entwickelt sich rasant und die Fähigkeiten intelligenter Assistenten nehmen von Tag zu Tag zu. Können sie jedoch widersprüchliche Aufgaben bewältigen? Die Forscher entwickelten einen Test namens „Selbstwidersprüchliche Anweisungen (SCI)“, um große multimodale Modelle mit 20.000 widersprüchlichen Anweisungen herauszufordern, die sprachliche und visuelle Bereiche abdecken, beispielsweise die Bitte, den Hund auf dem Katzenfoto zu beschreiben. Um diese Anweisungen besser generieren zu können, haben die Forscher außerdem das Framework zur automatischen Datensatzerstellung AutoCreate entwickelt. Diese Forschung zielt darauf ab, die Fähigkeit der KI zu untersuchen, mit widersprüchlichen Anweisungen umzugehen, und schlägt eine Methode namens Cognitive Awakening Prompting (CaP) vor, um die Fähigkeit der KI, Stress zu widerstehen, zu verbessern.
In einer Zeit, in der KI überall im Einsatz ist, werden unsere Anforderungen an intelligente Assistenten immer höher. Sie müssen nicht nur eloquent sprechen können, sondern auch Bilder lesen und Wörter lesen können, am besten mit einer Prise Humor. Aber haben Sie jemals darüber nachgedacht, dass die KI auf der Stelle abstürzen wird, wenn Sie sie beispielsweise bitten, einen Elefanten in den Kühlschrank zu stopfen, ohne dass dieser erkältet ist?
Um die Stressresistenz dieser KIs zu testen, ging eine Forschergruppe ein großes Risiko ein. Sie führten einen Test namens „Self-Contradictory Instructions“ (SCI) durch, der in der KI-Welt einfach eine Todesherausforderung darstellt. Der Test enthält 20.000 widersprüchliche Anweisungen, die sowohl verbale als auch visuelle Bereiche abdecken. Beispielsweise wird Ihnen ein Bild einer Katze gezeigt und Sie werden gebeten, den Hund zu beschreiben. Ist das nicht peinlich, Leute? Oh nein, das ist peinlich.
Um diese Todesherausforderung spannender zu gestalten, entwickelten die Forscher außerdem ein Framework zur automatischen Datensatzerstellung namens AutoCreate. Dieses Framework ist wie ein unermüdlicher Fragenlehrer, der automatisch eine große Anzahl hochwertiger und vielfältiger Fragen generieren kann. KI ist derzeit sehr beschäftigt.
Wie sollten Forscher der KI angesichts dieser verwirrenden Anweisungen reagieren? Diese Methode gleicht der Ausstattung der KI mit einem Widerspruchsdetektor, der es ihr ermöglicht, bei der Verarbeitung dieser Anweisungen einfallsreicher zu sein.
Forscher testeten einige der beliebtesten groß angelegten multimodalen Modelle und stellten fest, dass sich diese KIs wie alberne Studienanfänger verhielten, wenn sie mit widersprüchlichen Anweisungen konfrontiert wurden. Als jedoch die CaP-Methode angewendet wurde, war ihre Leistung wie eine plötzliche Erleuchtung und ihre Leistung verbesserte sich erheblich.
Diese Forschung liefert uns nicht nur eine neuartige KI-Testmethode, sondern zeigt auch die Richtung für die zukünftige Entwicklung der KI auf. Obwohl die aktuelle KI im Umgang mit widersprüchlichen Anweisungen immer noch wie ein ungeschicktes Kind ist, haben wir mit der Weiterentwicklung der Technologie Grund zu der Annahme, dass die KI in Zukunft intelligenter werden und besser wissen wird, wie sie mit dieser komplexen Welt voller Dinge umgehen soll Widersprüche.
Wenn man die KI vielleicht eines Tages bittet, den Elefanten in den Kühlschrank zu stopfen, antwortet sie vielleicht witzig: OK, ich werde den Elefanten in eine Eisskulptur verwandeln, damit er im Kühlschrank steht, ohne dass er kalt wird.
Papieradresse: https://arxiv.org/pdf/2408.01091
Projektseite: https://selfcontradiction.github.io/
Diese Forschung liefert wertvolle Erkenntnisse zur Bewertung und Verbesserung der Fähigkeit der KI, mit komplexen und widersprüchlichen Informationen umzugehen, und kündigt auch Fortschritte bei der Fähigkeit der KI an, komplexe Herausforderungen der realen Welt zu bewältigen. In Zukunft könnte KI in der Lage sein, eleganter auf verschiedene widersprüchliche Situationen zu reagieren und eine stärkere Anpassungsfähigkeit und Problemlösungsfähigkeiten zu demonstrieren.