Sebuah studi baru dari Universitas New York mengungkapkan kerentanan yang mengkhawatirkan dari model bahasa skala besar (LLM) dalam pelatihan data. Penelitian menunjukkan bahwa sejumlah kecil informasi palsu, bahkan hanya 0,001% dari data pelatihan, dapat berdampak serius pada keakuratan dan keandalan LLM, sehingga menghasilkan kesalahan besar. Temuan ini sangat penting dalam bidang medis, dimana informasi medis yang salah dapat secara langsung membahayakan keselamatan pasien. Penelitian ini telah dipublikasikan di jurnal Nature Medicine, meningkatkan kekhawatiran luas tentang keamanan dan keandalan AI dalam aplikasi medis.
Baru-baru ini, tim peneliti dari Universitas New York menerbitkan penelitian yang mengungkapkan kerentanan model bahasa skala besar (LLM) dalam pelatihan data. Mereka menemukan bahwa bahkan sejumlah kecil informasi palsu, yang hanya mencakup 0,001% dari data pelatihan, dapat menyebabkan kesalahan yang signifikan di keseluruhan model. Temuan ini menjadi perhatian khusus dalam bidang medis, karena misinformasi dapat berdampak langsung pada keselamatan pasien.
Para peneliti menunjukkan dalam sebuah makalah yang diterbitkan dalam jurnal "Nature Medicine" bahwa meskipun LLM berkinerja baik, jika informasi palsu dimasukkan ke dalam data pelatihannya, model ini mungkin masih berkinerja lebih buruk daripada model yang tidak terlatih pada beberapa tolok ukur evaluasi sumber terbuka sama baiknya. Artinya, dalam pengujian rutin, kami mungkin tidak dapat mendeteksi potensi risiko pada model ini.
Untuk mengujinya, tim peneliti melakukan eksperimen pada kumpulan data pelatihan yang disebut "The Pile", di mana mereka dengan sengaja menambahkan 150.000 artikel medis palsu yang dihasilkan oleh AI. Hanya dalam 24 jam, mereka menghasilkan konten, dan penelitian menunjukkan bahwa mengganti 0,001% konten dalam kumpulan data, bahkan 1 juta penanda pelatihan, menghasilkan peningkatan konten berbahaya sebesar 4,8%. Prosesnya sangat murah, hanya seharga $5.
Serangan keracunan data ini tidak memerlukan kontak langsung dengan bobot model, namun penyerang dapat melemahkan efektivitas LLM hanya dengan mempublikasikan informasi berbahaya di jaringan. Tim peneliti menekankan bahwa temuan ini menyoroti risiko signifikan ketika menggunakan alat AI di bidang medis. Pada saat yang sama, mereka juga menyebutkan bahwa ada kasus relevan yang menunjukkan bahwa beberapa platform medis AI, seperti MyChart, sering kali menghasilkan informasi yang salah ketika secara otomatis merespons pertanyaan pasien, sehingga menyebabkan masalah bagi pasien.
Oleh karena itu, para peneliti menyerukan kepada pengembang AI dan penyedia layanan kesehatan untuk mengenali dengan jelas kerentanan ini ketika mengembangkan LLM medis. Mereka merekomendasikan bahwa LLM tidak boleh digunakan untuk tugas-tugas penting seperti diagnosis atau pengobatan sampai keamanan dapat dipastikan di masa depan.
Menyorot:
Penelitian menunjukkan bahwa hanya 0,001% informasi palsu yang dapat membuat model bahasa skala besar (LLM) menjadi tidak efektif.
Di bidang medis, penyebaran informasi palsu dapat berdampak serius terhadap keselamatan pasien.
Para peneliti mendesak agar LLM tidak digunakan untuk tugas medis penting seperti diagnosis atau pengobatan sampai keamanannya terjamin.
Hasil penelitian ini memperingatkan kita bahwa sebelum menerapkan model bahasa berskala besar ke bidang-bidang penting seperti perawatan medis, kita harus memperkuat penelitian tentang keamanan data dan keandalan model untuk memastikan keamanan dan efektivitasnya serta menghindari potensi risiko.