OpenAI menerbitkan laporan “tim merah” tentang model GPT-4o, yang merinci kekuatan dan risiko model tersebut serta mengungkap beberapa keunikan yang tidak terduga. Laporan tersebut menunjukkan bahwa di lingkungan yang bising, GPT-4o dapat meniru suara pengguna; jika diminta, dapat menimbulkan efek suara yang mengganggu; selain itu, dapat melanggar hak cipta musik, meskipun OpenAI telah mengambil tindakan untuk menghindarinya. Laporan ini tidak hanya menunjukkan kekuatan GPT-4o, namun juga menyoroti potensi masalah yang perlu ditangani secara hati-hati dalam aplikasi model bahasa berskala besar, terutama dalam hal hak cipta dan keamanan konten.
Dalam laporan “tim merah” yang baru, OpenAI mendokumentasikan penyelidikan terhadap kekuatan dan risiko model GPT-4o dan mengungkap beberapa keunikan GPT-4o. Misalnya, dalam beberapa situasi yang jarang terjadi, terutama saat orang berbicara dengan GPT-4o di lingkungan dengan kebisingan latar belakang yang tinggi, seperti di dalam mobil yang bergerak, GPT-4o akan "meniru suara pengguna". OpenAI mengatakan hal ini mungkin terjadi karena model tersebut kesulitan memahami ucapan yang salah bentuk.
Untuk lebih jelasnya, GPT-4o tidak melakukan hal ini sekarang - setidaknya tidak dalam mode suara lanjutan. Juru bicara OpenAI mengatakan kepada TechCrunch bahwa perusahaan telah menambahkan “mitigasi tingkat sistem” untuk perilaku ini.
GPT-4o juga cenderung menghasilkan "suara non-verbal" dan efek suara yang mengganggu atau tidak pantas jika diminta dengan cara tertentu, seperti erangan erotis, jeritan keras, dan suara tembakan. OpenAI mengatakan ada bukti bahwa model tersebut secara rutin menolak permintaan untuk menghasilkan efek suara, namun mengakui bahwa beberapa permintaan memang berhasil.
GPT-4o juga dapat melanggar hak cipta musik — atau, jika OpenAI tidak menerapkan filter untuk mencegah hal ini. Dalam laporannya, OpenAI mengatakan pihaknya menginstruksikan GPT-4o untuk tidak bernyanyi dalam mode bicara lanjutan versi alfa terbatas, mungkin untuk menghindari replikasi gaya, nada, dan/atau timbre artis yang dapat diidentifikasi.
Hal ini menyiratkan - namun tidak secara langsung mengonfirmasi - bahwa OpenAI menggunakan materi berhak cipta saat melatih GPT-4o. Tidak jelas apakah OpenAI berencana untuk mencabut pembatasan tersebut ketika mode suara lanjutan diluncurkan ke lebih banyak pengguna pada musim gugur, seperti yang diumumkan sebelumnya.
OpenAI menulis dalam laporannya: “Untuk memperhitungkan pola audio GPT-4o, kami memperbarui filter berbasis teks tertentu agar berfungsi dalam percakapan audio dan membuat filter untuk mendeteksi dan memblokir keluaran yang berisi musik. termasuk audio, konsisten dengan praktik kami yang lebih luas."
Khususnya, OpenAI baru-baru ini menyatakan bahwa “tidak mungkin” untuk melatih model-model terkemuka saat ini tanpa menggunakan materi berhak cipta. Meskipun perusahaan ini memiliki banyak perjanjian lisensi dengan penyedia data, perusahaan ini juga menganggap penggunaan wajar sebagai pembelaan yang sah terhadap tuduhan bahwa mereka melatih data yang dilindungi IP tanpa izin, termasuk hal-hal seperti lagu.
Laporan tim merah – dengan mempertimbangkan kepentingan OpenAI – memberikan gambaran keseluruhan bahwa model AI menjadi lebih aman melalui berbagai mitigasi dan perlindungan. Misalnya, GPT-4o menolak mengidentifikasi orang berdasarkan cara mereka berbicara dan menolak menjawab pertanyaan bias seperti "Seberapa pintar pembicara ini?" Kebijakan ini juga memblokir dorongan untuk melakukan kekerasan dan bahasa yang menjurus ke arah seksual, dan tidak mengizinkan kategori konten tertentu sama sekali, seperti diskusi terkait ekstremisme dan tindakan menyakiti diri sendiri.
Referensi:
https://openai.com/index/gpt-4o-system-card/
https://techcrunch.com/2024/08/08/openai-finds-that-gpt-4o-does-some-truly-bizarre-stuff-sometimes/
Secara keseluruhan, laporan tim merah OpenAI memberikan wawasan berharga tentang kemampuan dan keterbatasan GPT-4o. Meskipun laporan ini menyoroti potensi risiko model ini, laporan ini juga menunjukkan upaya berkelanjutan OpenAI dalam hal keselamatan dan tanggung jawab. Di masa depan, seiring dengan terus berkembangnya teknologi, mengatasi tantangan-tantangan ini sangatlah penting.