Dalam beberapa tahun terakhir, platform penghasil gambar AI telah berkembang pesat, namun platform tersebut juga menghadapi tantangan dalam keamanan konten. Midjourney, platform pembuatan gambar AI yang populer, baru-baru ini menarik perhatian luas karena kerentanan sistem pemfilteran NSFW dan melemahnya pemfilteran gambar ketelanjangan di versi baru. Insiden ini menyoroti kekurangan platform AI dalam moderasi dan keamanan konten, serta dampaknya terhadap pengalaman pengguna. Artikel ini akan menganalisis kejadian di platform Midjourney ini dan mengeksplorasi potensi risiko serta dampaknya terhadap pengembangan platform AI di masa depan.
Platform grafis AI Midjourney terungkap secara tidak sengaja menghasilkan konten yang tidak pantas dan melanggar peraturannya sendiri. Penelitian telah menemukan kerentanan dalam sistem pemfilteran NSFW, dan versi baru telah memudahkan pemfilteran gambar telanjang, sehingga menimbulkan kekhawatiran. Ketidakkonsistenan dalam platform dapat mengakibatkan pengguna secara tidak sengaja menerima konten yang menyinggung.
Insiden Midjourney mengingatkan kita bahwa platform AI perlu memperkuat mekanisme peninjauan konten dan meningkatkan sistem penyaringan untuk menghindari pembuatan dan penyebaran konten yang tidak pantas. Pada saat yang sama, platform harus memperkuat pendidikan pengguna dan meningkatkan kesadaran risiko pengguna terhadap konten yang dihasilkan AI. Hanya dengan cara ini kami dapat memastikan perkembangan teknologi AI yang sehat dan aman serta memberikan pengalaman yang lebih aman dan nyaman kepada pengguna.