Apa itu Auditor Fiddler?

Model bahasa memungkinkan perusahaan membangun dan meluncurkan aplikasi inovatif untuk meningkatkan produktivitas dan meningkatkan kepuasan pelanggan. Namun, LLM diketahui dapat berhalusinasi, menimbulkan respons permusuhan yang dapat merugikan pengguna, dan bahkan mengungkap informasi pribadi yang telah dilatih kepada mereka saat diminta atau tidak. Kini semakin penting bagi tim ML dan aplikasi perangkat lunak untuk meminimalkan risiko dan kelemahan ini sebelum meluncurkan model LLM dan NLP. Oleh karena itu, penting bagi Anda untuk menyertakan proses untuk mengaudit model bahasa secara menyeluruh sebelum produksi. Auditor Fiddler memungkinkan Anda menguji model LLM dan NLP, mengidentifikasi kelemahan dalam model, dan memitigasi potensi hasil yang merugikan sebelum menerapkannya ke produksi.

Fitur dan Kemampuan

Auditor Fiddler mendukung

LLM tim merah untuk kasus penggunaan Anda dengan gangguan cepat
Integrasi dengan LangChain
Metrik evaluasi khusus
Model NLP Generatif dan Diskriminatif
Perbandingan LLM

Contoh laporan yang dihasilkan oleh Auditor Fiddler untuk text-davinci-003.

Instalasi

Dari PyPI

Auditor tersedia di PyPI dan kami mengujinya di Python 3.8 dan yang lebih baru. Kami merekomendasikan untuk membuat lingkungan python virtual dan menginstal menggunakan perintah berikut

pip install fiddler-auditor

Dari sumber

Anda dapat menginstal dari sumber setelah mengkloning repo ini menggunakan perintah berikut

pip install .

Panduan memulai cepat

Panduan Memulai Auditor Fiddler
Evaluasi LLM dengan metrik khusus
Serangan injeksi cepat dengan transformasi khusus

Kontribusi

Kami terus memperbarui perpustakaan ini untuk mendukung model bahasa seiring perkembangannya.

Kontribusi dalam bentuk saran dan PR kepada Fiddler Auditor dipersilakan!
Jika Anda menemukan bug, jangan ragu untuk menyampaikan masalah di repositori ini.

Untuk petunjuk langkah demi langkah ikuti Panduan Kontribusi.