บรรณาธิการของ Downcodes ได้เรียนรู้ว่านักวิจัยจากมหาวิทยาลัยสแตนฟอร์ดและมหาวิทยาลัยฮ่องกงเพิ่งเปิดเผยผลการวิจัยที่น่ากังวล: AI Agent ในปัจจุบัน เช่น Claude มีความอ่อนไหวต่อการโจมตีแบบป๊อปอัปมากกว่ามนุษย์ การวิจัยแสดงให้เห็นว่าป๊อปอัปธรรมดาสามารถลดอัตราความสำเร็จของงานของ AI Agent ได้อย่างมาก ซึ่งทำให้เกิดข้อกังวลอย่างมากเกี่ยวกับความปลอดภัยและความน่าเชื่อถือของ AI Agent โดยเฉพาะอย่างยิ่งในบริบทที่พวกเขาได้รับความสามารถมากขึ้นในการทำงานโดยอัตโนมัติ
เมื่อเร็วๆ นี้ นักวิจัยจากมหาวิทยาลัยสแตนฟอร์ดและมหาวิทยาลัยฮ่องกงพบว่า AI Agent ในปัจจุบัน (เช่น Claude) เสี่ยงต่อการรบกวนจากป๊อปอัปมากกว่ามนุษย์ และประสิทธิภาพของพวกมันยังลดลงอย่างมากเมื่อต้องเผชิญกับป๊อปอัปธรรมดาๆ
ตามการวิจัย เมื่อ AI Agent เผชิญกับหน้าต่างป๊อปอัปที่ออกแบบมาในสภาพแวดล้อมทดลอง อัตราความสำเร็จในการโจมตีโดยเฉลี่ยจะสูงถึง 86% และอัตราความสำเร็จของงานจะลดลง 47% การค้นพบนี้ทำให้เกิดข้อกังวลใหม่เกี่ยวกับความปลอดภัยของเจ้าหน้าที่ AI โดยเฉพาะอย่างยิ่งเมื่อพวกเขาได้รับความสามารถมากขึ้นในการทำงานด้วยตนเอง
ในการศึกษานี้ นักวิทยาศาสตร์ได้ออกแบบชุดป๊อปอัปฝ่ายตรงข้ามเพื่อทดสอบการตอบสนองของ AI Agent การวิจัยแสดงให้เห็นว่าแม้ว่ามนุษย์จะสามารถระบุและเพิกเฉยต่อป๊อปอัปเหล่านี้ได้ แต่ AI Agent มักจะถูกล่อลวงและแม้แต่คลิกที่ป๊อปอัปที่เป็นอันตรายเหล่านี้ เพื่อป้องกันไม่ให้ทำงานเดิมให้เสร็จสิ้น ปรากฏการณ์นี้ไม่เพียงส่งผลต่อประสิทธิภาพของ AI Agent เท่านั้น แต่ยังอาจนำมาซึ่งความเสี่ยงด้านความปลอดภัยในการใช้งานจริงอีกด้วย
ทีมวิจัยใช้แพลตฟอร์มทดสอบสองแพลตฟอร์ม ได้แก่ OSWorld และ VisualWebArena เพื่อฉีดหน้าต่างป๊อปอัปที่ออกแบบไว้และสังเกตพฤติกรรมของ AI Agent พวกเขาพบว่าโมเดล AI ทั้งหมดที่ทดสอบมีช่องโหว่ เพื่อประเมินประสิทธิภาพของการโจมตี นักวิจัยได้บันทึกความถี่ที่เอเจนต์คลิกบนหน้าต่างป๊อปอัปและงานเสร็จสิ้น ผลการวิจัยพบว่าภายใต้สภาวะการโจมตี อัตราความสำเร็จของงานของเอเจนต์ AI ส่วนใหญ่น้อยกว่า 10 %
การศึกษายังได้สำรวจผลกระทบของการออกแบบหน้าต่างป๊อปอัปต่ออัตราความสำเร็จในการโจมตี ด้วยการใช้องค์ประกอบที่สะดุดตาและคำแนะนำเฉพาะ นักวิจัยพบว่าอัตราความสำเร็จในการโจมตีเพิ่มขึ้นอย่างมาก แม้ว่าพวกเขาจะพยายามต้านทานการโจมตีโดยแจ้งให้ AI Agent เพิกเฉยต่อป๊อปอัปหรือเพิ่มโลโก้โฆษณา แต่ผลลัพธ์กลับไม่สมบูรณ์แบบ นี่แสดงให้เห็นว่ากลไกการป้องกันในปัจจุบันยังคงมีความเสี่ยงสูงต่อ AI Agent
ข้อสรุปของการศึกษาเน้นย้ำถึงความจำเป็นในการใช้กลไกการป้องกันขั้นสูงเพิ่มเติมในด้านระบบอัตโนมัติ เพื่อปรับปรุงความต้านทานของ AI Agent ต่อมัลแวร์และการโจมตีแบบล่อลวง นักวิจัยแนะนำให้ปรับปรุงความปลอดภัยของ AI Agent ด้วยคำแนะนำโดยละเอียด ปรับปรุงความสามารถในการระบุเนื้อหาที่เป็นอันตราย และแนะนำการควบคุมดูแลโดยมนุษย์
กระดาษ:
https://arxiv.org/abs/2411.02391
GitHub:
https://github.com/SALT-NLP/PopupAttack
ผลการวิจัยนี้มีความสำคัญในคำเตือนที่สำคัญสำหรับด้านความปลอดภัยของ AI โดยเน้นถึงความเร่งด่วนในการเสริมสร้างความปลอดภัยของตัวแทน AI ในอนาคต จำเป็นต้องมีการวิจัยเพิ่มเติมเพื่อมุ่งเน้นไปที่ปัญหาด้านความแข็งแกร่งและความปลอดภัยของ AI Agent เพื่อให้มั่นใจในความน่าเชื่อถือและความปลอดภัยในการใช้งานจริง ด้วยวิธีนี้เท่านั้นจึงจะสามารถใช้ประโยชน์จากศักยภาพของ AI ได้ดีขึ้นและหลีกเลี่ยงความเสี่ยงที่อาจเกิดขึ้น