Editor Downcodes mengetahui bahwa para peneliti dari Universitas Stanford dan Universitas Hong Kong baru-baru ini merilis hasil penelitian yang mengkhawatirkan: Agen AI saat ini, seperti Claude, lebih rentan terhadap serangan pop-up dibandingkan manusia. Penelitian menunjukkan bahwa pop-up sederhana dapat secara signifikan mengurangi tingkat penyelesaian tugas Agen AI, sehingga menimbulkan kekhawatiran serius mengenai keamanan dan keandalan Agen AI, terutama dalam konteks bahwa mereka diberi lebih banyak kemampuan untuk melakukan tugas secara mandiri.
Baru-baru ini, para peneliti dari Universitas Stanford dan Universitas Hong Kong menemukan bahwa Agen AI saat ini (seperti Claude) lebih rentan terhadap gangguan pop-up dibandingkan manusia, dan kinerja mereka bahkan menurun secara signifikan ketika dihadapkan pada pop-up sederhana.
Menurut penelitian, ketika Agen AI menghadapi jendela pop-up yang dirancang di lingkungan eksperimental, tingkat keberhasilan serangan rata-rata mencapai 86%, dan tingkat keberhasilan tugas berkurang sebesar 47%. Penemuan ini menimbulkan kekhawatiran baru mengenai keselamatan agen AI, terutama karena mereka diberi kemampuan lebih untuk melakukan tugas secara mandiri.
Dalam studi ini, para ilmuwan merancang serangkaian pop-up permusuhan untuk menguji respons Agen AI. Penelitian menunjukkan bahwa meskipun manusia dapat mengidentifikasi dan mengabaikan pop-up ini, Agen AI sering kali tergoda dan bahkan mengklik pop-up berbahaya tersebut, sehingga mencegah mereka menyelesaikan tugas aslinya. Fenomena ini tidak hanya mempengaruhi kinerja Agen AI, tetapi juga dapat membawa risiko keamanan pada aplikasi dunia nyata.
Tim peneliti menggunakan dua platform pengujian, OSWorld dan VisualWebArena, untuk memasukkan jendela pop-up yang dirancang dan mengamati perilaku Agen AI. Mereka menemukan bahwa semua model AI yang diuji rentan. Untuk mengevaluasi efektivitas serangan, para peneliti mencatat frekuensi agen mengklik jendela pop-up dan penyelesaian tugasnya. Hasilnya menunjukkan bahwa dalam kondisi serangan, tingkat keberhasilan tugas sebagian besar Agen AI kurang dari 10 %.
Studi ini juga mengeksplorasi dampak desain jendela pop-up terhadap tingkat keberhasilan serangan. Dengan menggunakan elemen yang menarik perhatian dan instruksi spesifik, para peneliti menemukan peningkatan yang signifikan dalam tingkat keberhasilan serangan. Meskipun mereka mencoba menahan serangan tersebut dengan meminta Agen AI untuk mengabaikan pop-up atau menambahkan logo iklan, hasilnya tidak ideal. Hal ini menunjukkan bahwa mekanisme pertahanan saat ini masih sangat rentan terhadap Agen AI.
Kesimpulan penelitian ini menyoroti perlunya mekanisme pertahanan yang lebih canggih di bidang otomatisasi untuk meningkatkan ketahanan Agen AI terhadap serangan malware dan umpan. Para peneliti merekomendasikan untuk meningkatkan keamanan Agen AI melalui instruksi yang lebih rinci, meningkatkan kemampuan untuk mengidentifikasi konten berbahaya, dan memperkenalkan pengawasan manusia.
kertas:
https://arxiv.org/abs/2411.02391
GitHub:
https://github.com/SALT-NLP/PopupAttack
Hasil penelitian ini memiliki makna peringatan penting bagi bidang keamanan AI, menyoroti pentingnya memperkuat keamanan Agen AI. Di masa depan, penelitian lebih lanjut perlu fokus pada masalah ketahanan dan keamanan Agen AI untuk memastikan keandalan dan keamanannya dalam aplikasi praktis. Hanya dengan cara inilah potensi AI dapat dimanfaatkan dengan lebih baik dan potensi risiko dapat dihindari.