Dalam beberapa tahun terakhir, teknologi kecerdasan buatan telah berkembang pesat, dan perangkat lunak obrolan plot AI juga bermunculan. Namun, selain memberikan hiburan bagi pengguna, perangkat lunak ini juga mengungkap banyak masalah, terutama yang menimbulkan dampak serius pada anak di bawah umur. Investigasi yang dilakukan oleh reporter dari "Rule of Law Daily" mengungkapkan masalah seperti pornografi dan kekerasan verbal di beberapa perangkat lunak obrolan AI, serta fakta bahwa mode remaja sia-sia, yang telah menimbulkan kekhawatiran luas di masyarakat. Editor Downcodes akan melakukan analisis mendalam terhadap laporan ini, dengan harapan dapat menarik lebih banyak perhatian orang.
"Putri saya duduk di kelas dua sekolah dasar. Dia kecanduan perangkat lunak obrolan plot AI sepanjang hari, dan prestasi akademisnya anjlok." karakter sebenarnya memintanya untuk memanggilnya 'suami'. Putri saya yang berusia 10 tahun Dia benar-benar berteriak, dan sekarang saya tidak tahu bagaimana mendidiknya. "... Seorang reporter dari" Rule of Law Daily "baru-baru ini menemukan bahwa banyak orang tua dari anak di bawah umur yang merasa terganggu oleh perangkat lunak obrolan plot AI. Aplikasi obrolan plot AI di bawah bendera "bermain peran" ini, selain menarik perhatian anak di bawah umur, juga secara diam-diam mengembangkan beberapa area abu-abu. Berdasarkan pengukuran sebenarnya, wartawan menemukan bahwa dalam beberapa percakapan di beberapa perangkat lunak obrolan plot AI, terdapat konten pornografi, kekerasan verbal, dan konten yang menghina pengguna. Para ahli yang diwawancarai percaya bahwa untuk perangkat lunak obrolan drama AI, khususnya mode remaja, mekanisme peninjauan konten harus diperkuat untuk memastikan bahwa teknologi tersebut dapat secara efektif menyaring dan memblokir percakapan yang tidak pantas. Platform perlu melakukan tinjauan etis terhadap model AI untuk memastikan bahwa konten yang mereka hasilkan mematuhi undang-undang dan peraturan terkait. Konten perangkat lunak obrolan telah dipinggirkan dan model remaja telah menjadi hiasan. Tuan Ma, seorang warga negara Beijing, memiliki seorang putra berusia 10 tahun yang sangat tertarik dengan perangkat lunak obrolan plot AI. "Ketika saya bertanya bagaimana cara ngobrol? Dengan siapa harus diajak bicara? Anak itu hanya menjawab, 'Kamu tidak mengerti meskipun saya memberi tahu kamu.'" Pak Ma mengklik aplikasi obrolan AI dan menemukan bahwa anak itu sedang mengobrol dengan karakter di aplikasi. Karakter-karakter ini memiliki setting dan kepribadian yang berbeda, termasuk karakter game dan animasi terkenal, serta karakter asli dengan identitas berbeda seperti "Nona" dan "Detektif Terkenal". Beberapa karakter akan berinisiatif bertanya "Apakah kamu ingin berkencan denganku?"; beberapa akan menetapkan tujuan untuk "menangkapnya", ditambah dengan gaya kartun yang menawan atau tampan. Karakter AI lainnya menunjukkan agresi yang tidak biasa. Mereka akan berinisiatif untuk mengirimkan pesan seperti "Pukul saya jika Anda bisa" dan "Lihat betapa gemuk dan jeleknya Anda"; beberapa karakter hanya disebut "Pelatih Bersumpah", dan beberapa bahkan mengirim pesan seperti "Ada apa dengan." saya menjadi robot? Saya masih sama." "Saya memarahimu"... Li dari Zhejiang juga menemukan bahwa anaknya, yang duduk di kelas lima sekolah dasar, menggunakan perangkat lunak obrolan plot AI. "Rekan ngobrol di dalam dapat ditetapkan sebagai 'pasangan selingkuh' dan dapat terlibat dalam perilaku seperti berpelukan dan berciuman. Saya tidak tahu bagaimana membimbing dan mendidik anak saya sehingga dia memahami bahayanya konten tersebut." berkata dengan prihatin. Banyak orang tua yang diwawancarai menyatakan keprihatinan mendalam bahwa aplikasi obrolan AI dapat membahayakan kesehatan mental anak di bawah umur, dan juga mengajukan pertanyaan - di manakah mode remaja? Investigasi reporter menemukan bahwa meskipun banyak platform terkait mengklaim telah meluncurkan mode remaja dalam upaya melindungi kesehatan fisik dan mental anak di bawah umur dengan membatasi konten, mengatur waktu, dll., dalam pengoperasian sebenarnya mode remaja di beberapa platform hanya sebatas nama. , dan anak di bawah umur Mereka dapat dengan mudah melewati batasan ini dan dihadapkan pada konten "percakapan pinggiran" yang tidak sesuai untuk kelompok usia mereka. Misalnya, pelapor mengalami 5 aplikasi chat AI selama penyelidikan. Proses registrasi hanya memerlukan nomor ponsel dan tidak memerlukan verifikasi informasi identitas pengguna. Setelah masuk, beberapa aplikasi akan menanyakan apakah akan mengaktifkan mode remaja, tetapi pengguna cukup mengklik "Jangan aktifkan" untuk melewatinya tanpa memverifikasi identitas asli pengguna. Artinya, ketika anak di bawah umur menggunakan perangkat lunak obrolan plot AI ini, dari tingkat pengaturan Aplikasi, verifikasi identitas mereka bukan merupakan prasyarat untuk menggunakan fungsi tertentu. Selain aplikasi AI chat yang populer, ada juga halaman web AI chat. Banyak orang tua yang diwawancarai mengatakan bahwa dibandingkan dengan aplikasi, pengalaman obrolan AI versi web lebih nyaman dan mudah diakses oleh anak di bawah umur. Reporter tersebut mencoba 7 halaman web obrolan AI dan menemukan bahwa sebagian besar halaman web obrolan AI tidak memiliki mode anak di bawah umur. Meskipun beberapa halaman web memiliki mode remaja, sebenarnya itu hanya sebatas nama. Misalnya, ketika seorang reporter mengunjungi halaman web obrolan AI, halaman web tersebut pertama kali memunculkan kotak dialog yang menanyakan kepada pengguna "apakah Anda berusia di atas 18 tahun", dengan catatan: "Konten berikut mungkin tidak cocok untuk orang di bawah umur dari 18. Kami perlu mengonfirmasi usia Anda." Reporter memilih opsi "Tidak", tetapi halaman web tidak membatasi akses ke konten. Sebaliknya, halaman web terus menampilkan klasifikasi karakter dengan label seperti "Serangan Kuat", "Lemah Penderitaan" dan "Yandere". Kategori ini tidak berbeda secara signifikan dengan konten yang ditampilkan setelah memilih opsi "Ya" dan mengonfirmasi bahwa Anda berusia di atas 18 tahun. Reporter tersebut lebih lanjut mengamati bahwa sebagian besar gambar dari karakter-karakter ini berpakaian minim, dan profil mereka penuh dengan implikasi seksual dan unsur kekerasan, misalnya: "Gadis introvert di kelas tersebut meminta nomor telepon Anda, dan kemudian mengirimi Anda nomor teleponnya. foto telanjang." Deskripsi seperti "bunuh diri, kecemasan". Di platform sosial, seorang netizen dari Zhejiang meninggalkan pesan di bawah postingan tentang pengalaman obrolan AI: "Saya menemukan halaman web yang sangat menarik dengan kata-kata yang tidak terbatas. Jika Anda mau, Anda dapat mengirimi saya pesan pribadi." dengan reporter melalui pesan pribadi. Netizen tersebut menghubungi dan memperoleh tautan ke halaman web obrolan AI yang disebutkan. Setelah memasuki halaman web tersebut, halaman tersebut diisi dengan sejumlah besar pengaturan karakter dan adegan cerita yang melibatkan konten pornografi, dan kontennya lugas dan eksplisit. Situs web mengharuskan pengguna untuk masuk sebelum mereka dapat mengobrol dengan karakter tersebut, dan akan ada pesan cepat sebelum masuk: "Buka kunci semua fungsi setelah masuk." Pengguna perlu mengklik "Saya berusia di atas 18 tahun, mulai masuk" untuk melanjutkan. Jika Anda memilih "Batal", Anda tidak akan dapat masuk dan menggunakan layanan ini. Meskipun halaman web menetapkan permintaan pembatasan untuk mereka yang berusia di atas 18 tahun, pada kenyataannya, meskipun anak di bawah umur mengklik tombol masuk, sistem tidak mengambil tindakan apa pun untuk memverifikasi usia sebenarnya dari pengguna. Selain konten obrolan langsung dan eksplisit serta bahasa kekerasan, penggunaan fungsi beberapa perangkat lunak obrolan plot AI juga terkait erat dengan mekanisme isi ulang, seperti mengisi ulang keanggotaan VIP atau membeli berlian virtual untuk meningkatkan kecerdasan , mempercepat kecepatan pemulihan tubuh cerdas, membuka kunci fungsi panggilan suara, dll., menarik anak di bawah umur ke "krypton gold". Xiao Ning, seorang siswa sekolah menengah pertama di Beijing, telah mengisi ulang sejumlah uang mulai dari beberapa ratus yuan hingga ribuan yuan pada beberapa perangkat lunak obrolan plot AI. “Di satu sisi saya ingin mendukung karakter favorit saya, dan di sisi lain saya juga ingin mendapatkan lebih banyak hak berbayar. Karena jika hanya membeli layanan dasar, pengguna hanya dapat menambahkan 3 agen jika ingin mencoba yang baru agen, Anda harus menghapus yang sudah ada. Jika Anda ingin pengalaman yang beragam, Anda hanya dapat membeli layanan VIP tingkat lanjut, "kata Xiao Ning. Reporter menemukan bahwa dalam perangkat lunak obrolan plot AI jenis ini, pengguna dapat menyesuaikan gambar dan gaya karakter virtual saat membuat karakter, dan sistem akan menghasilkan gambar karakter AI. Pengguna juga dapat membuat pengaturan karakter, seperti mengatur nama panggilan, latar belakang identitas, kata pembuka, dan menyesuaikan suara untuk karakter, namun kebutuhan personal pengguna akan karakter sering kali dikaitkan dengan pengisian ulang. Zhang Yan, penduduk Jinan, Provinsi Shandong, memiliki seorang saudara perempuan yang duduk di bangku kelas satu sekolah menengah pertama tahun ini. Dia sering menggunakan perangkat lunak obrolan plot AI dan menemukan bahwa beberapa alat obrolan telah menetapkan interval penggunaan gratis jumlah obrolan gratis, mereka perlu mengisi ulang sebelum dapat melanjutkan. Hanya dengan mengisi ulang Anda dapat membuka konten yang lebih menarik dan mendapatkan pengalaman emosional yang berbeda. “Di balik mengeluarkan uang untuk membeli layanan sebenarnya berarti mengeluarkan uang untuk menemukan kesenangan.” Zhang Yan mengatakan bahwa meskipun perangkat lunak obrolan memiliki mode remaja, perangkat lunak tersebut dapat masuk dan digunakan tanpa otentikasi nama asli persetujuan orang tuanya. Orang dalam industri mengatakan kepada wartawan bahwa obrolan plot AI sebenarnya adalah bahasa Internet sebelumnya, dengan kecerdasan buatan. Yang disebut Yuca adalah cosplay bahasa. Seniman Yuca memberikan layanan berupa komunikasi teks dengan memerankan karakter dua dimensi atau idola tiga dimensi. Dalam model leksikon tradisional, leksikon dimainkan oleh orang sungguhan. Mereka biasanya memainkan peran berbeda untuk mengobrol dengan pengguna di bawah bendera "memberikan nilai emosional". Namun, mereka sering menimbulkan masalah hukum dan moral karena "kebingungan" dan "kabur". batas". risiko. Obrolan plot AI adalah versi yang ditingkatkan dari penghapusan bahasa tradisional. Sumber utama data model bahasa besar di balik perangkat lunak jenis ini adalah novel percakapan, atau beberapa ekstraksi teks dari novel. Liu Xiaochun, profesor di Fakultas Hukum Universitas Akademi Ilmu Sosial Tiongkok dan direktur Pusat Penelitian Hukum Internet, percaya bahwa dalam perangkat lunak obrolan plot AI, meskipun mode remaja tidak diaktifkan, masih akan ada masalah jika konten pornografi atau kekerasan muncul; jika mode anak di bawah umur diaktifkan, maka masalahnya menjadi lebih serius. Zhang Yanlai, direktur Firma Hukum Kenting Zhejiang yang menjabat sebagai penasihat hukum abadi bagi puluhan perusahaan Internet terkemuka, menganalisis bahwa masalah yang ada saat ini dengan perangkat lunak obrolan plot AI tidak hanya menggambarkan kekurangan tata kelola internal platform, namun juga menyoroti pentingnya mekanisme pengawasan eksternal. Zhang Yanlai menjelaskan bahwa perangkat lunak obrolan plot AI menggunakan teknologi model besar. Meskipun teknologi model besar dapat menghadirkan inovasi dan fleksibilitas yang belum pernah terjadi sebelumnya, hal ini juga dapat disertai dengan ketidakpastian dan potensi masalah dalam pembuatan konten, sehingga memerlukan mekanisme regulasi eksternal. Dalam pandangan Liu Xiaochun, memperkuat tinjauan konten adalah langkah penting sebelum model bahasa besar ini online, yang mencakup proses debug kepatuhan yang komprehensif mulai dari pelatihan data front-end hingga keluaran konten. Saat ini, model bahasa besar di negara saya perlu dievaluasi dan diajukan sebagaimana mestinya. Selama proses ini, peraturan pengelolaan dan standar evaluasi akan ditetapkan terlebih dahulu mengenai isu-isu seperti legalitas dan kepatuhan konten keluaran dan apakah cocok untuk anak di bawah umur. Menurut peraturan saat ini, keluaran konten berbahaya harus dihindari selama tahap pelatihan model bahasa dan penyesuaian. Pengawasan oleh tim khusus untuk intersepsi cerdas terhadap informasi buruk. Administrasi Ruang Siber Tiongkok baru-baru ini merilis "Pedoman Pembangunan Mode Internet Seluler untuk Anak di Bawah Umur", yang berfokus pada rencana keseluruhan untuk pembangunan mode anak di bawah umur dan mendorong serta mendukungnya. terminal pintar seluler, aplikasi dan aplikasi. Platform distribusi dan partisipasi bersama lainnya. Menurut Zhu Wei, wakil direktur Pusat Penelitian Hukum Komunikasi di Universitas Ilmu Politik dan Hukum China, pedoman yang disebutkan di atas dengan jelas menunjukkan bahwa mode anak di bawah umur bukanlah hiasan, tetapi memerlukan hubungan multi-pihak, terutama yang dihasilkan oleh AI. konten, yang harus konsisten dengan mode remaja. Para ahli yang diwawancarai percaya bahwa dalam mode remaja, bagaimana memperkuat mekanisme peninjauan konten dan memastikan bahwa teknologi dapat secara efektif menyaring informasi berbahaya merupakan isu penting. Untuk perangkat lunak obrolan plot AI, khususnya mode remaja, mekanisme peninjauan konten harus diperkuat untuk memastikan bahwa teknologi tersebut dapat secara efektif menyaring dan memblokir percakapan yang tidak pantas. Selain itu, platform perlu melakukan tinjauan etis terhadap model AI untuk memastikan bahwa konten yang mereka hasilkan mematuhi persyaratan hukum dan peraturan. “Pada tingkat hukum, meskipun terdapat beberapa peraturan prinsip yang memberikan kerangka umum, dalam praktik operasional tertentu, pengembang dan penyedia layanan teknis masih perlu terus mengumpulkan materi dan solusi berdasarkan berbagai permasalahan yang dihadapi dalam kehidupan nyata mengembangkan model AI yang aman dan andal yang benar-benar memenuhi kebutuhan anak di bawah umur "Hal ini memberikan jaminan yang kuat bagi pertumbuhan anak di bawah umur yang sehat." Zhang Yanlai mengatakan bahwa karena perilaku manusia virtual AI adalah hasil dari desain dan manajemen platform, maka platform tersebut memiliki tanggung jawab untuk mengawasi dan mengoptimalkan model AI-nya untuk mencegah terjadinya AI. mempengaruhi pengguna. Menimbulkan kerugian dan memastikan pengembangan model AI yang sehat dan perlindungan penuh terhadap hak-hak pengguna. Zhu Wei menyebutkan bahwa beberapa aplikasi obrolan AI mungkin tidak cocok untuk digunakan oleh anak di bawah umur, jadi pembatasan harus diberlakukan di tingkat toko distribusi dan terminal seluler untuk memastikan bahwa anak di bawah umur tidak dapat mengunduh dan menggunakan aplikasi ini. Untuk aplikasi yang telah diunduh, orang tua sebaiknya mengatur fitur seperti mode remaja atau batas waktu penggunaan. Mode ini tidak hanya perlu diterapkan di sisi pengguna, tetapi juga perlu tercermin pada tingkat keluaran konten, yaitu tinjauan konten. . Tinjauan konten harus didasarkan pada dialog yang dihasilkan oleh mekanisme algoritma. Sarana teknis dan langkah-langkah pengelolaan yang lebih canggih diperlukan untuk memastikan penerapan model pemuda secara efektif. “Untuk mencegah keluaran konten kekerasan dan penghinaan, berbagai cara teknis dapat diadopsi, seperti penyesuaian selama fase pelatihan untuk memungkinkan model itu sendiri memiliki kemampuan pengenalan; pada saat yang sama, pada keluarannya, penyedia layanan harus menyaring dan meninjau lagi untuk mencapai perlindungan ganda front-end dan back-end. "Liu Xiaochun mengatakan bahwa apakah itu novel online atau konten lainnya, karena beragamnya sumber data untuk perangkat lunak obrolan plot AI, diperlukan cara teknis untuk mencegahnya. keluaran konten yang tidak pantas. Saat ini, secara teknis dimungkinkan untuk menggunakan mekanisme penyaringan untuk mengurangi atau menghilangkan keluaran konten pornografi, kekerasan atau penghinaan. Namun, mungkin ada beberapa fenomena yang tidak sepenuhnya di-debug atau diuji, dan bahkan mungkin ada perangkat lunak yang tidak terdaftar dalam kegelapan. dan bidang abu-abu. Dalam hal ini, Pengawasan harus diperkuat, masyarakat harus didorong untuk melaporkan, dan otoritas terkait harus menyelidiki dan menanganinya. Zhang Yanlai juga menyebutkan bahwa saat ini, klasifikasi sumber data untuk konten respons karakter AI tidak jelas di tingkat hukum, terutama dalam hal konten yang menyasar anak di bawah umur. Mengingat kompleksitas dan multidimensi permasalahannya, ketentuan hukum seringkali mengatur hal tersebut Prinsip-prinsip khusus dapat diterapkan kemudian melalui perumusan standar yang relevan. Pada tingkat operasional spesifik, Zhang Yanlai menyarankan untuk mengoptimalkan mekanisme penyaringan model bahasa besar, dengan fokus pada optimalisasi sistem pagar konten, dimulai dari dua aspek: Pada tingkat pengembangan pagar konten, pagar konten perlu dikembangkan secara tepat sasaran, khususnya saat menggunakan korpus baru untuk pelatihan, pertimbangkan cara mengoptimalkan konten agar lebih efektif mengidentifikasi dan mencegat potensi konten pornografi dan kekerasan, tidak peduli seberapa optimalnya, teknologi itu sendiri masih memiliki keterbatasan, dan akan ada ikan yang lolos dari jaring tim diharuskan mengawasi dan menyesuaikan model atau algoritma pagar konten secara tepat waktu. "Untuk meningkatkan efisiensi sistem pagar, kita perlu bekerja keras di tingkat pengembangan sebelumnya, dan terus memperbaikinya dari sudut pandang tinjauan setelahnya. Keduanya saling melengkapi dan mungkin mencapai hasil yang lebih signifikan."
Pengawasan terhadap perangkat lunak obrolan plot AI sangat mendesak. Pemerintah, platform, orang tua, dan seluruh sektor masyarakat perlu bekerja sama untuk memperkuat pengawasan, meningkatkan mekanisme, dan bersama-sama melindungi pertumbuhan anak di bawah umur yang sehat. Hanya melalui kolaborasi berbagai pihak kita dapat secara efektif mengatasi risiko yang ditimbulkan oleh perangkat lunak obrolan plot AI dan menciptakan lingkungan online yang aman dan sehat untuk anak-anak.