Sebuah studi baru dari University of California, Berkeley, mengungkapkan dampak modifikasi petunjuk otomatis model bahasa besar (LLM) pada alat pembuatan gambar DALL-E3. Melalui eksperimen online yang melibatkan 1.891 peserta, tim peneliti membandingkan kinerja DALL-E2, DALL-E3, dan DALL-E3 yang dimodifikasi menggunakan perintah otomatis dalam pembuatan gambar, dan melakukan analisis mendalam mengenai dampak modifikasi perintah otomatis pada kualitas gambar dan Dampak pada pengalaman pengguna. Hasil eksperimennya mengejutkan dan memberikan perspektif baru dalam penerapan alat AI.
Baru-baru ini, sebuah penelitian dari University of California, Berkeley, menunjukkan bahwa modifikasi isyarat otomatis oleh model bahasa besar (LLM) dapat secara signifikan mengurangi kualitas gambar yang dihasilkan oleh DALL-E3. Studi tersebut melakukan eksperimen online dengan 1.891 peserta untuk mengeksplorasi dampak penulisan ulang otomatis terhadap kualitas gambar.
Dalam percobaan, peserta secara acak dibagi menjadi tiga kelompok: DALL-E2, DALL-E3, dan DALL-E3 dengan revisi cepat otomatis. Peserta diminta untuk menulis sepuluh petunjuk berturut-turut yang mereproduksi gambar target seakurat mungkin. Hasilnya menunjukkan bahwa DALL-E3 memang lebih baik daripada DALL-E2 dalam pembuatan gambar, dan tingkat kecocokan antara gambar yang dihasilkan dan target meningkat secara signifikan. Namun, ketika menggunakan perintah yang dimodifikasi secara otomatis, kinerja DALL-E3 turun hampir 58%. Meskipun pengguna DALL-E3 yang menggunakan penulisan ulang cepat masih mengungguli pengguna DALL-E2, keunggulan ini berkurang secara signifikan.
Para peneliti menemukan bahwa kesenjangan kinerja antara DALL-E3 dan DALL-E2 terutama disebabkan oleh dua faktor: satu adalah peningkatan kemampuan teknis DALL-E3, dan yang lainnya adalah kemampuan adaptasi pengguna dalam mendorong strategi. Secara khusus, pengguna DALL-E3 menggunakan perintah yang lebih panjang, lebih mirip secara semantik, dan menggunakan kata-kata yang lebih deskriptif. Peserta tidak mengetahui model mana yang mereka gunakan, namun kinerja mereka menunjukkan kemampuan beradaptasi ini.
Para peneliti percaya bahwa seiring dengan peningkatan model, pengguna akan terus menyesuaikan permintaan mereka untuk memanfaatkan kemampuan model terbaru dengan lebih baik. Hal ini menunjukkan bahwa meskipun kemunculan model-model baru tidak akan membuat prompt menjadi usang, prompt tetap menjadi sarana penting bagi pengguna untuk mengeksplorasi potensi model-model baru.
Studi ini mengingatkan kita bahwa alat otomatis tidak selalu membantu pengguna meningkatkan kinerja dan malah membatasi mereka dalam mencapai potensi penuh dari model mereka. Oleh karena itu, saat menggunakan alat AI, pengguna harus mempertimbangkan cara paling efektif untuk menyesuaikan isyarat mereka guna menghasilkan gambar yang lebih optimal.
Menyorot:
Revisi cepat otomatis menyebabkan kualitas gambar DALL-E3 turun hampir 58%, sehingga membatasi kinerja pengguna.
Eksperimen menemukan bahwa meskipun DALL-E3 lebih baik daripada DALL-E2, efeknya melemah setelah perintah diubah secara otomatis.
Pengguna perlu menyesuaikan strategi dorongan sesuai dengan kemajuan model untuk sepenuhnya menyadari potensi model baru.
Secara keseluruhan, penelitian ini menekankan inisiatif dan kemampuan beradaptasi pengguna dalam penggunaan alat AI, mengingatkan kita bahwa kita tidak bisa begitu saja mengandalkan alat otomatis, namun harus secara aktif mengeksplorasi metode interaksi terbaik untuk sepenuhnya menyadari potensi model AI dan mendapatkan keuntungan. menghasilkan efek. Hal ini memiliki arti penting dalam pengembangan dan penerapan alat AI di masa depan.