Nvidia telah meluncurkan tiga fitur baru pada platform NeMo Guardrails untuk manajemen keamanan chatbot AI: layanan keamanan konten, layanan kontrol topik, dan layanan deteksi pelanggaran penjara. Ketiga layanan ini dirancang untuk membantu perusahaan mengontrol chatbot AI dengan lebih baik, mencegah penyebaran informasi berbahaya, memastikan kepatuhan topik percakapan, dan mencegah pengguna jahat melewati mekanisme keamanan. Mereka menggunakan model profesional kecil, memerlukan sumber daya komputasi yang rendah, dan diberikan kepada pengembang sebagai kode sumber terbuka, sehingga memudahkan perusahaan untuk berintegrasi ke dalam sistem mereka sendiri.
Baru-baru ini, Nvidia mengumumkan tiga fitur keamanan baru pada platform NeMo Guardrails, yang dirancang untuk membantu perusahaan mengelola dan mengontrol chatbot AI dengan lebih baik. Layanan mikro ini memberikan serangkaian solusi praktis khususnya untuk tantangan umum dalam keamanan AI dan moderasi konten.
Diantaranya, layanan keamanan konten (Content Safety) dapat meninjau konten AI sebelum merespons pengguna untuk mendeteksi apakah ada informasi yang berpotensi membahayakan. Layanan ini membantu mencegah penyebaran konten yang tidak pantas dan memastikan pengguna menerima informasi yang aman dan sesuai.
Selain itu, layanan pengendalian topik (Topic Control) dirancang untuk memastikan konten obrolan tetap berada dalam topik yang telah ditentukan sebelumnya. Artinya chatbots dapat lebih efektif memandu pengguna dalam berkomunikasi mengenai topik tertentu, menghindari penyimpangan dari topik aslinya, dan meningkatkan efektivitas komunikasi.
Layanan Deteksi Jailbreak digunakan untuk mengidentifikasi dan mencegah pengguna mencoba melewati fitur keamanan AI. Mekanisme ini membantu menjaga keamanan chatbot dan mencegah penggunaan jahat.
Nvidia mengatakan layanan ini tidak bergantung pada model bahasa yang besar, melainkan menggunakan model yang lebih kecil dan terspesialisasi, sehingga kebutuhan mereka terhadap sumber daya komputasi relatif rendah. Perusahaan termasuk Amdocs, Cerence AI dan Lowe's saat ini sedang menguji teknologi baru ini di sistem mereka. Perlu disebutkan bahwa layanan mikro ini akan tersedia bagi pengembang sebagai bagian dari paket NeMo Guardrails open source Nvidia, sehingga memberikan kemudahan bagi lebih banyak perusahaan.
Dengan berkembangnya teknologi AI, cara memastikan keamanan dan keandalan aplikasi AI telah menjadi topik yang semakin penting. Tiga fitur baru yang diluncurkan Nvidia akan memberikan jaminan yang lebih kuat kepada perusahaan saat menggunakan chatbot AI dan membantu mereka menjadi lebih percaya diri dalam proses transformasi digital.
Menyorot:
Nvidia meluncurkan tiga fitur keamanan baru untuk meningkatkan kemampuan manajemen chatbot AI.
Layanan keamanan konten membantu mengaudit respons AI dan mencegah penyebaran informasi berbahaya.
Kontrol topik dan deteksi jailbreak memastikan kepatuhan topik percakapan dan mencegah bypass berbahaya.
Secara keseluruhan, fitur-fitur baru pada platform NeMo Guardrails Nvidia memberikan solusi efektif untuk manajemen keamanan chatbot AI, lebih meningkatkan keandalan dan keamanan aplikasi AI, dan memberikan jaminan yang lebih kuat untuk aplikasi perusahaan di bidang AI. Mempromosikan pengembangan teknologi AI yang lebih aman dan bertanggung jawab.