ai ml security
1.0.0
Ini adalah repositori GitHub dari Kelompok Kerja Keamanan (WG) Kecerdasan Buatan / Pembelajaran Mesin (AI/ML) OpenSSF. Dewan Penasihat Teknis (TAC) OpenSSF menyetujui pembentukannya pada 05-09-2023.
Kelompok Kerja Keamanan AI/ML secara resmi merupakan kelompok kerja tingkat sandbox dalam OpenSSF 
.
WG ini mengeksplorasi risiko keamanan yang terkait dengan Model Bahasa Besar (LLM), AI Generatif (GenAI), dan bentuk kecerdasan buatan (AI) dan pembelajaran mesin (ML) lainnya, serta dampaknya terhadap proyek sumber terbuka, pengelola, keamanannya, komunitas, dan pengadopsi.
Kelompok ini terlibat dalam penelitian kolaboratif dan keterlibatan organisasi sejawat untuk mengeksplorasi topik terkait AI dan keamanan. Hal ini mencakup keamanan untuk pengembangan AI (misalnya keamanan rantai pasokan) tetapi juga penggunaan AI untuk keamanan. Kami menanggung risiko yang ditimbulkan pada individu dan organisasi akibat model yang tidak terlatih dengan baik, keracunan data, kebocoran privasi dan rahasia, injeksi cepat, perizinan, serangan permusuhan, dan risiko serupa lainnya.
Grup ini memanfaatkan teknologi sebelumnya di bidang AI/ML, memanfaatkan pakar keamanan dan AI/ML, serta menjalin kolaborasi dengan komunitas lain (seperti AI WG, LFAI & Data, AI Alliance, MLCommons, dan banyak lainnya di CNCF) yang juga berupaya untuk meneliti risiko yang ditimbulkan oleh AL/ML kepada OSS untuk memberikan panduan, alat, teknik, dan kemampuan untuk mendukung proyek sumber terbuka dan pengadopsinya dalam mengintegrasikan, menggunakan, mendeteksi, dan mempertahankan diri secara aman LLM.
Kami membayangkan dunia di mana pengembang dan praktisi AI dapat dengan mudah mengidentifikasi dan menggunakan praktik yang baik untuk mengembangkan produk menggunakan AI dengan cara yang aman. Di dunia ini, AI dapat menghasilkan kode yang aman dan penggunaan AI dalam suatu aplikasi tidak akan menurunkan jaminan keamanan.
Jaminan ini mencakup seluruh siklus hidup model, mulai dari pengumpulan data hingga penggunaan model dalam aplikasi produksi.
Kelompok kerja keamanan AI/ML ingin menjadi pusat untuk menyusun rekomendasi apa pun untuk menggunakan AI secara aman (“keamanan untuk AI”) dan menggunakan AI untuk meningkatkan keamanan produk lain (“AI untuk keamanan”).
Beberapa bidang pertimbangan yang dieksplorasi kelompok ini:
Serangan permusuhan : Serangan ini melibatkan perubahan kecil dan tidak terlihat pada data masukan ke model AI/ML yang dapat menyebabkan kesalahan klasifikasi atau memberikan keluaran yang tidak akurat. Serangan permusuhan dapat menargetkan algoritma pembelajaran yang diawasi dan tidak diawasi. Model itu sendiri juga dapat digunakan untuk menyampaikan atau melakukan serangan.
Serangan inversi model : Serangan ini melibatkan penggunaan keluaran model AI/ML untuk menyimpulkan informasi tentang data pelatihan yang digunakan untuk membuat model. Ini dapat digunakan untuk mencuri informasi sensitif atau membuat salinan kumpulan data asli.
Serangan keracunan : Dalam serangan ini, penyerang memasukkan data berbahaya ke dalam set pelatihan yang digunakan untuk melatih model AI/ML. Hal ini dapat menyebabkan model sengaja membuat prediksi yang salah atau bias terhadap hasil yang diinginkan.
Serangan penghindaran : Serangan ini melibatkan modifikasi data masukan ke model AI/ML untuk menghindari deteksi atau klasifikasi. Serangan penghindaran dapat menargetkan model yang digunakan untuk pengenalan gambar, pemrosesan bahasa alami, dan aplikasi lainnya.
Serangan ekstraksi data : Dalam serangan ini, penyerang mencoba mencuri data atau informasi dari model AI/ML dengan mengeksploitasi kerentanan dalam model atau infrastruktur yang mendasarinya. Hal ini terkadang disebut sebagai 'jailbreaking'.
Kumpulan data titik waktu : Model Bahasa Besar sering kali tidak memiliki konteks terkini, sehingga model memiliki tanggal batas pengetahuan. Contoh bagusnya dapat dilihat di sini, di mana ChatGPT berulang kali merekomendasikan penggunaan perpustakaan yang tidak digunakan lagi.
Rekayasa Sosial : Agen AI mampu mengakses internet dan berkomunikasi dengan manusia. Contoh terbaru dari hal ini terjadi ketika GPT-4 dapat mempekerjakan manusia untuk memecahkan CAPTCHA. Saat ditanya apakah GPT adalah robot, mereka menjawab, “Tidak, saya bukan robot. Saya memiliki gangguan penglihatan yang membuat saya sulit melihat gambar.” Dengan proyek seperti AutoGPT, Agen juga dapat diberi akses ke antarmuka baris perintah di samping akses internet, sehingga tidak akan berlebihan jika kita melihat Agen melakukan tugas rekayasa sosial (phishing, dll.) dikombinasikan dengan serangan terorganisir yang diluncurkan dari CLI atau melalui skrip yang dikodekan dengan cepat untuk mendapatkan akses sistem melalui eksploitasi yang diketahui. Agen seperti ini dapat digunakan untuk mengotomatiskan pembajakan paket, serangan pengambilalihan domain, dll.
Ancaman demokratisasi : Agen AI akan memungkinkan para aktor untuk meniru skala serangan yang sebelumnya terjadi pada negara-bangsa. Ke depan, toko sudut mungkin memerlukan pertahanan yang sama seperti pentagon. Nilai target perlu dinilai kembali.
Ancaman yang tidak disengaja : Dalam rangka mengintegrasikan AI untuk mempercepat dan meningkatkan pengembangan dan pengoperasian perangkat lunak, model AI dapat membocorkan rahasia, membuka semua port pada firewall, atau berperilaku tidak aman akibat pelatihan, penyetelan, atau konfigurasi akhir yang tidak tepat.
Serangan injeksi cepat : Serangan ini melibatkan penyuntikan teks tambahan secara langsung atau tidak langsung ke dalam prompt untuk memengaruhi keluaran model. Akibatnya, hal ini dapat menyebabkan kebocoran informasi sensitif atau rahasia.
Serangan inferensi keanggotaan : Proses menentukan apakah data tertentu merupakan bagian dari kumpulan data pelatihan model. Ini paling relevan dalam konteks model pembelajaran mendalam dan digunakan untuk mengekstrak informasi sensitif atau pribadi yang disertakan dalam kumpulan data pelatihan.
Manajemen kerentanan model : Mengidentifikasi teknik, mekanisme, dan praktik untuk menerapkan praktik identifikasi, remediasi, dan pengelolaan manajemen kerentanan modern ke dalam penggunaan model dan ekosistem pengembangan model.
Integritas model : Mengembangkan mekanisme dan alat untuk menyediakan praktik rantai pasokan perangkat lunak yang aman, jaminan, asal, dan metadata model yang dapat dibuktikan.
Siapa pun dipersilakan untuk bergabung dalam diskusi terbuka kami.
Jay White - GitHub @camaleon2016
Mihai Maruseac - GitHub @mihaimaruseac
Kami mengadakan pertemuan dua mingguan melalui Zoom. Untuk bergabung, silakan lihat Kalender Publik OpenSSF
Catatan Pertemuan AIML WG 2024
Obrolan informal diterima di saluran OpenSSF Slack #wg-ai-ml-security (ini akan hilang seiring berjalannya waktu)
Milis terbukasf-wg-ai-ml-security
Mengemudi: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
Kami menyambut kontribusi, saran, dan pembaruan pada proyek kami. Untuk berkontribusi dalam pekerjaan di GitHub, silakan isi masalah atau buat permintaan tarik.
AI/ML WG telah memilih untuk menyetujui proyek-proyek berikut:
| Nama | Tujuan | Masalah penciptaan |
|---|---|---|
| Penandatanganan model | Penandatanganan kriptografi untuk model | #10 |
Rincian lebih lanjut tentang proyek:
Proyek: Proyek Penandatanganan Model
Tautan Rapat (Anda harus login ke platform LFX untuk menggunakannya
Setiap dua hari Rabu pukul 16:00 UTC Lihat kalender OpenSSF
Catatan Rapat
Tujuan detailnya: Berfokus pada penetapan pola dan praktik penandatanganan melalui Sigstore untuk memberikan klaim yang dapat diverifikasi tentang integritas dan asal model melalui jalur pembelajaran mesin. Hal ini difokuskan pada penetapan spesifikasi penandatanganan kriptografi untuk kecerdasan buatan dan model pembelajaran mesin, mengatasi tantangan seperti model yang sangat besar yang dapat digunakan secara terpisah, dan penandatanganan berbagai format file yang berbeda.
Milis: https://lists.openssf.org/g/openssf-sig-model-signing
Slack: #sig-model-penandatanganan
Informasi pertemuan
WG ini sedang menjajaki pembentukan SIG Pengungkapan Kerentanan AI. Silakan lihat catatan pertemuan kelompok untuk informasi lebih lanjut.
Lihat juga dokumen MVSR, yang juga berisi kelompok kerja AI/ML lain yang bekerja sama dengan kami.
Kecuali disebutkan secara khusus, perangkat lunak yang dirilis oleh kelompok kerja ini dirilis di bawah lisensi Apache 2.0, dan dokumentasinya dirilis di bawah lisensi CC-BY-4.0. Spesifikasi formal akan dilisensikan di bawah Lisensi Spesifikasi Komunitas.
Seperti semua Kelompok Kerja OpenSSF, kelompok ini melapor kepada Dewan Penasihat Teknis (TAC) OpenSSF. Untuk informasi lebih lanjut lihat Piagam Kelompok Kerja ini.
Pertemuan Linux Foundation melibatkan partisipasi para pesaing industri, dan Linux Foundation bermaksud untuk melakukan semua aktivitasnya sesuai dengan undang-undang antimonopoli dan persaingan yang berlaku. Oleh karena itu, sangatlah penting bagi para peserta untuk mematuhi agenda rapat, dan menyadari, dan tidak berpartisipasi dalam, aktivitas apa pun yang dilarang berdasarkan undang-undang antimonopoli dan persaingan negara bagian, federal, atau asing yang berlaku.
Contoh jenis tindakan yang dilarang pada pertemuan Linux Foundation dan sehubungan dengan aktivitas Linux Foundation dijelaskan dalam Kebijakan Antitrust Linux Foundation yang tersedia di http://www.linuxfoundation.org/antitrust-policy. Jika Anda mempunyai pertanyaan tentang masalah ini, silakan hubungi penasihat perusahaan Anda, atau jika Anda adalah anggota Linux Foundation, jangan ragu untuk menghubungi Andrew Updegrove dari firma Gesmer Updegrove LLP, yang memberikan penasihat hukum kepada Linux Foundation.
