dioptra

Dioptra: Perangkat Lunak Uji untuk Karakterisasi Teknologi AI

Dioptra adalah platform pengujian perangkat lunak untuk menilai karakteristik kecerdasan buatan (AI) yang dapat dipercaya. AI yang dapat dipercaya adalah: valid dan dapat diandalkan, aman, terjamin dan tangguh, akuntabel dan transparan, dapat dijelaskan dan ditafsirkan, ditingkatkan privasinya, dan adil - dengan bias berbahaya yang dikelola ¹ . Dioptra mendukung fungsi Pengukuran pada Kerangka Manajemen Risiko AI NIST dengan menyediakan fungsionalitas untuk menilai, menganalisis, dan melacak risiko AI yang teridentifikasi.

Dioptra menyediakan REST API, yang dapat dikontrol melalui antarmuka web intuitif, klien Python, atau pustaka klien REST pilihan pengguna untuk merancang, mengelola, melaksanakan, dan melacak eksperimen. Detailnya tersedia dalam dokumentasi proyek yang tersedia di https://pages.nist.gov/dioptra/.

• Status Rilis Saat Ini
• Kasus Penggunaan
• Properti Utama
• Petunjuk Penggunaan
  • Bangun wadahnya
  • Jalankan Dioptra
  • Pendaftaran pengguna
• Mengembangkan Dioptra
• Lisensi
• Cara Mengutip

Status Rilis Saat Ini

Rilis 1.0.1 -- dengan perbaikan dan pengembangan berkelanjutan

Kasus Penggunaan

Kami membayangkan kasus penggunaan utama berikut untuk Dioptra:

• Pengujian Model:
  • Pihak pertama - Menilai model AI sepanjang siklus pengembangan
  • Pihak kedua - Menilai model AI selama akuisisi atau di lingkungan lab evaluasi
  • Pihak ketiga - Menilai model AI selama aktivitas audit atau kepatuhan
• Penelitian: Membantu peneliti AI yang tepercaya dalam melacak eksperimen
• Evaluasi dan Tantangan: Menyediakan platform dan sumber daya bersama bagi para peserta
• Tim Merah: Mengekspos model dan sumber daya ke tim merah dalam lingkungan yang terkendali

Properti Utama

Dioptra mengupayakan properti utama berikut:

• Dapat Direproduksi: Dioptra secara otomatis membuat cuplikan sumber daya sehingga eksperimen dapat direproduksi dan divalidasi
• Dapat Ditelusuri: Riwayat lengkap eksperimen dan masukannya dilacak
• Dapat Diperluas: Dukungan untuk memperluas fungsionalitas dan mengimpor paket Python yang ada melalui sistem plugin
• Interoperable: Sistem tipe mempromosikan interoperabilitas antar plugin
• Modular: Eksperimen baru dapat disusun dari komponen modular dalam file yaml sederhana
• Aman: Dioptra menyediakan otentikasi pengguna dengan kontrol akses segera
• Interaktif: Pengguna dapat berinteraksi dengan Dioptra melalui antarmuka web yang intuitif
• Dapat Dibagikan dan Digunakan Kembali: Dioptra dapat diterapkan di lingkungan multi-penyewa sehingga pengguna dapat berbagi dan menggunakan kembali komponen

Petunjuk Penggunaan

Bangun wadahnya

Langkah pertama dalam menyiapkan Dioptra adalah mengkloning repositori dan membangun kontainer buruh pelabuhan untuk berbagai layanan yang merupakan bagian dari penerapan. Lihat bagian Membuat kontainer pada dokumentasi untuk mendapatkan petunjuk.

Jalankan Dioptra

Setelah container dibuat, langkah selanjutnya adalah mengonfigurasi penerapan dengan cruft dan menjalankan Dioptra. Lihat bagian Running Dioptra pada dokumentasi untuk petunjuknya.

Selain itu, Anda mungkin ingin menambahkan kumpulan data, lihat bagian Mengunduh kumpulan data dari dokumentasi untuk detailnya.

Pendaftaran pengguna

Daftarkan akun pengguna dengan instans Dioptra Anda melalui antarmuka pengguna. Antarmuka pengguna dapat diakses melalui browser web Anda di URL yang ditentukan saat membuat penerapan. Standarnya adalah http://localhost.

Mengembangkan Dioptra

Jika Anda tertarik berkontribusi pada Dioptra, silakan lihat Panduan Pengembang

Lisensi

Perangkat Lunak ini (Dioptra) disediakan sebagai layanan publik oleh Institut Standar dan Teknologi Nasional (NIST), sebuah Badan dari Departemen Perdagangan Amerika Serikat. Perangkat lunak ini dikembangkan sebagian oleh karyawan NIST dan sebagian lagi oleh kontraktor NIST. Hak cipta atas sebagian perangkat lunak ini yang dikembangkan oleh kontraktor NIST telah dilisensikan atau dialihkan ke NIST. Sesuai dengan Judul 17 Kode Amerika Serikat Bagian 105, karya karyawan NIST tidak tunduk pada perlindungan hak cipta di Amerika Serikat. Namun, NIST dapat memegang hak cipta internasional atas perangkat lunak yang dibuat oleh karyawannya dan hak cipta domestik (atau hak lisensi) pada bagian perangkat lunak yang ditugaskan atau dilisensikan kepada NIST. Sejauh NIST memegang hak cipta atas perangkat lunak ini, perangkat lunak ini disediakan di bawah lisensi Creative Commons Attribution 4.0 International (CC BY 4.0). Penafian lisensi CC BY 4.0 berlaku untuk semua bagian perangkat lunak yang dikembangkan atau dilisensikan oleh NIST.

Cara Mengutip

Glasbrenner, James, Booth, Harold, Manville, Keith, Sexton, Julian, Chisholm, Michael Andy, Choy, Henry, Hand, Andrew, Hodges, Bronwyn, Scemama, Paul, Sepupu, Dmitry, Trapnell, Eric, Trapnell, Mark, Huang , Howard, Rowe, Paul, Byrne, Alex (2024), Platform Uji Dioptra, Institut Standar dan Teknologi Nasional, https://doi.org/10.18434/mds2-3398 (Diakses 'Tanggal Hari Ini')

NB : Ganti 'Tanggal Hari Ini' dengan tanggal hari ini

Catatan kaki

1. https://doi.org/10.6028/NIST.AI.100-1 ↩