今日の人工知能技術は急速に発展しており、インテリジェントアシスタントの能力は日々向上していますが、それらは相反するタスクに対処できるでしょうか。研究者らは、猫の写真の中の犬について説明するよう求めるなど、言語と視覚の領域をカバーする20,000の自己矛盾命令を備えた大規模なマルチモーダルモデルに挑戦する「自己矛盾命令（SCI）」と呼ばれるテストを設計した。これらの指示をより適切に生成するために、研究者らは AutoCreate 自動データセット作成フレームワークも開発しました。 この研究は、相反する指示に対処する AI の能力を調査することを目的としており、AI のストレス耐性を向上させるための認知覚醒プロンプティング (CaP) と呼ばれる手法を提案しています。
AI があらゆる場所に飛び交うこの時代、スマート アシスタントに対する私たちの要件はますます高くなっています。雄弁に話すことができるだけでなく、できれば少しのユーモアを交えて絵や言葉を読むこともできなければなりません。しかし、AI に矛盾したタスクを与えた場合、たとえば、ゾウを冷やさずに冷蔵庫に詰め込むように頼んだ場合、AI はその場でクラッシュするだろうと考えたことはありますか?
これらの AI のストレス耐性をテストするために、研究者のグループは大きなリスクを負いました。彼らは、自己矛盾命令 (SCI) と呼ばれるテストを実施しました。これは、AI の世界ではまさに死の挑戦です。このテストには、言語領域と視覚領域の両方をカバーする 20,000 の矛盾した指示が含まれています。たとえば、猫の写真を見せて、その犬について説明するように求められます。これは人々にとって恥ずかしいことではありませんか? いや、AI にとっては恥ずかしいことです。
この死の挑戦をより刺激的なものにするために、研究者らは AutoCreate と呼ばれる自動データセット作成フレームワークも開発しました。このフレームワークは、質の高い多様な質問を自動的に大量に生成できる、たゆまぬ質問教師のようなものです。 AIは今とても忙しいです。
このようなわかりにくい指示に直面して、AI はどのように対応すべきでしょうか? 研究者らは、AI に認知覚醒プロンプティング (CaP) と呼ばれる冷静な対処法を与えています。この方法は、AI に矛盾検出器を装備するようなもので、これらの命令を処理するときに AI がよりリソースを活用できるようになります。
研究者らは、最も人気のある大規模マルチモーダル モデルのいくつかをテストしたところ、これらの AI は、矛盾する指示に直面したとき、間抜けな大学新入生のように振る舞うことを発見しました。しかし、CaP 法を使用すると、突然の悟りのようにパフォーマンスが大幅に向上しました。
この研究は、新しい AI テスト手法を提供するだけでなく、AI の今後の発展の方向性も示しています。現在の AI は、矛盾した命令に対処するのにまだ不器用な子供のようですが、テクノロジーの進歩により、将来の AI はより賢くなり、さまざまな問題に満ちたこの複雑な世界に対処する方法をよりよく知るようになるだろうと信じる理由があります。矛盾。
おそらくいつか、AI に象を冷蔵庫に詰めるように頼むと、AI は機知に富んだ答えを返します。「わかりました。象を氷の彫刻に変えて、冷蔵庫に入れても冷めないようにします。」
論文アドレス: https://arxiv.org/pdf/2408.01091
プロジェクトページ：https://selfconflict.github.io/
この研究は、複雑で矛盾した情報を処理する AI の能力を評価および改善するための貴重な洞察を提供し、また、現実世界の複雑な課題に対処する AI の能力の進歩を予告します。 将来的には、AI がさまざまな矛盾した状況にさらに柔軟に対応し、より強力な適応力と問題解決能力を発揮できるようになるかもしれません。