Teknologi kecerdasan buatan saat ini berkembang pesat, dan kemampuan asisten cerdas semakin meningkat dari hari ke hari. Namun, bisakah mereka mengatasi tugas-tugas yang kontradiktif? Para peneliti merancang tes yang disebut "Instruksi Kontradiksi Diri (SCI)" untuk menantang model multi-modal besar dengan 20.000 instruksi yang saling bertentangan, mencakup domain bahasa dan visual, seperti meminta untuk mendeskripsikan anjing di foto kucing. Untuk menghasilkan instruksi ini dengan lebih baik, para peneliti juga mengembangkan kerangka pembuatan kumpulan data otomatis AutoCreate. Penelitian ini bertujuan untuk mengeksplorasi kemampuan AI dalam mengatasi instruksi yang kontradiktif dan mengusulkan metode yang disebut Cognitive Awakening Prompting (CaP) untuk meningkatkan kemampuan AI dalam menahan stres.
Di era di mana AI tersebar ke mana-mana, kebutuhan kita akan asisten cerdas semakin tinggi. Anda tidak hanya harus bisa berbicara dengan fasih, tetapi Anda juga harus bisa membaca gambar dan membaca kata-kata, sebaiknya dengan sedikit humor. Namun, pernahkah Anda berpikir bahwa jika Anda memberikan tugas yang bertentangan kepada AI, apakah AI akan langsung crash? Misalnya, jika Anda memintanya untuk memasukkan gajah ke dalam lemari es tanpa membiarkan gajah tersebut kedinginan, bukan?
Untuk menguji kemampuan AI tersebut dalam menahan stres, sekelompok peneliti mengambil risiko besar. Mereka melakukan tes yang disebut Self-Contradictory instruction (SCI), yang merupakan tantangan kematian di dunia AI. Tes ini berisi 20.000 instruksi kontradiktif yang mencakup domain verbal dan visual. Misalnya, Anda diperlihatkan gambar seekor kucing dan diminta untuk mendeskripsikan anjing tersebut. Bukankah ini orang yang memalukan? Oh tidak, ini AI yang memalukan.
Untuk membuat tantangan kematian ini lebih menarik, para peneliti juga mengembangkan kerangka pembuatan kumpulan data otomatis yang disebut AutoCreate. Kerangka kerja ini seperti guru soal yang tak kenal lelah yang secara otomatis dapat menghasilkan sejumlah besar pertanyaan berkualitas tinggi dan beragam. AI sangat sibuk sekarang.
Dihadapkan pada instruksi yang membingungkan ini, bagaimana seharusnya AI merespons? Para peneliti telah memberikan suntikan serius kepada AI yang disebut Cognitive Awakening Prompting (CaP). Metode ini seperti melengkapi AI dengan pendeteksi kontradiksi, sehingga membuatnya lebih pandai dalam memproses instruksi ini.
Para peneliti menguji beberapa model multimodal skala besar yang paling populer dan menemukan bahwa AI ini berperilaku seperti mahasiswa baru yang konyol ketika dihadapkan pada instruksi yang bertentangan. Namun, ketika metode CaP digunakan, kinerja mereka seperti pencerahan yang tiba-tiba, dan kinerja mereka meningkat secara signifikan.
Penelitian ini tidak hanya memberi kita metode pengujian AI yang baru, namun juga menunjukkan arah pengembangan AI di masa depan. Walaupun AI saat ini masih seperti anak yang kikuk dalam menghadapi instruksi yang kontradiktif, namun dengan kemajuan teknologi, kita mempunyai alasan untuk percaya bahwa AI di masa depan akan menjadi lebih pintar dan lebih tahu bagaimana menghadapi dunia kompleks yang penuh dengan tantangan. kontradiksi.
Mungkin suatu saat, ketika Anda meminta AI untuk memasukkan gajah ke dalam lemari es, ia akan dengan cerdik menjawab: Oke, saya akan mengubah gajah itu menjadi patung es, agar tidak kedinginan di dalam lemari es.
Alamat makalah: https://arxiv.org/pdf/2408.01091
Halaman proyek: https://selfcontradiction.github.io/
Penelitian ini memberikan wawasan berharga dalam mengevaluasi dan meningkatkan kemampuan AI dalam menangani informasi yang kompleks dan kontradiktif, dan juga menunjukkan kemajuan dalam kemampuan AI dalam mengatasi tantangan dunia nyata yang kompleks. Di masa depan, AI mungkin dapat merespons berbagai situasi kontradiktif dengan lebih baik dan menunjukkan kemampuan beradaptasi dan pemecahan masalah yang lebih kuat.