Kemajuan cepat teknologi kecerdasan buatan sedang membentuk kembali struktur industri teknologi, dan banyak raksasa teknologi telah mengabdikan diri mereka untuk penelitian dan pengembangan dan penyebaran sistem "agen AI". Sistem cerdas ini dapat secara mandiri melakukan tugas -tugas kompleks tanpa perlu intervensi manusia yang berkelanjutan, menunjukkan potensi otomatisasi yang belum pernah terjadi sebelumnya. Perusahaan seperti Microsoft dan Anthropic telah memimpin dalam meluncurkan solusi proxy AI masing -masing. keputusan. .
Menurut media teknologi otoritatif "informasi", sikap hati -hati Openai terutama berasal dari kekhawatiran tentang serangan "injeksi cepat". Jenis serangan cyber baru ini dapat menginduksi sistem AI untuk menjalankan instruksi berbahaya, sehingga menyebabkan risiko keamanan yang serius. Misalnya, ketika pengguna mengesahkan agen AI untuk berbelanja online, sistem dapat diinduksi untuk mengakses situs web berbahaya dan melakukan operasi berbahaya seperti mencuri informasi email pengguna atau data kartu kredit. Kerentanan keamanan ini mungkin tidak hanya menyebabkan kebocoran privasi pengguna, tetapi juga menyebabkan kerusakan yang tidak dapat diperbaiki pada reputasi merek Openai.
Apa yang unik tentang sistem proxy AI adalah bahwa mereka memiliki kemampuan untuk mengoperasikan komputer secara mandiri, yang membuat mereka menghadapi risiko keamanan yang jauh lebih besar daripada sistem AI tradisional. Setelah diretas, agen -agen ini dapat menyebabkan kerusakan sistemik pada aset digital pengguna. Teknisi internal Openai mengakui bahwa meskipun semua model bahasa besar cenderung diserang, karakteristik otonomi agen AI secara signifikan memperkuat risiko ini.
Ancaman serangan menyuntikkan tidak tidak berdasar, dan risiko ini telah sepenuhnya diverifikasi pada platform lain. Tahun lalu, seorang ahli keamanan siber berhasil menunjukkan cara memanipulasi sistem AI kopilot Microsoft untuk membocorkan informasi rahasia dari organisasi, termasuk konten email dan catatan transaksi bank. Yang lebih mengejutkan adalah bahwa penyerang dapat mengirim email palsu yang meniru gaya penulisan karyawan tertentu, menyoroti kerentanan sistem AI dalam hal perlindungan keamanan.
Produk andalan Openai, ChatGPT, juga telah diuji dengan serangan injeksi yang cepat. Para peneliti berhasil menanamkan "memori" palsu dengan mengunggah file pihak ketiga (seperti dokumen Word), dan percobaan ini sepenuhnya mengekspos potensi kerentanan dalam sistem AI. Dihadapkan dengan tantangan keamanan yang begitu parah, tim Openai menyatakan terkejut dengan sikap longgar dari antropik pesaingnya ketika merilis agen AI -nya. Antropik hanya menyarankan pengembang untuk "mengambil langkah -langkah untuk mengisolasi Claude dari data sensitif", tindakan keamanan yang relatif sederhana yang jelas sulit untuk ditangani dengan ancaman cyber yang semakin kompleks.
Dilaporkan bahwa OpenAI dapat meluncurkan produk proxy AI -nya bulan ini. Namun, pertanyaan tentang kepedulian umum dalam industri ini adalah: Apakah waktu tambahan yang diperoleh tim pengembangan cukup untuk membangun sistem perlindungan keamanan yang cukup kuat? Dengan perkembangan teknologi AI yang cepat, bagaimana menemukan keseimbangan antara inovasi dan keamanan akan menjadi masalah penting yang dihadapi semua perusahaan AI.
Poin inti:
Openai menunda pelepasan agen AI karena risiko keamanan serangan suntikan, menyoroti potensi risiko sistem AI.
Meskipun perusahaan seperti Microsoft dan Anthropic telah meluncurkan produk AI Agent, langkah -langkah perlindungan keamanan masih belum cukup.
Openai bekerja untuk meningkatkan kinerja keamanan produknya untuk menangani ancaman cyber yang semakin kompleks.