dioptra

Dioptra：用於表徵人工智慧技術的測試軟體

Dioptra 是一個用於評估人工智慧 (AI) 可信任特性的軟體測試平台。值得信賴的人工智慧是：有效和可靠、安全、有保障和有彈性、負責任和透明、可解釋和解釋、隱私增強、公平——有害偏見得到管理¹ 。 Dioptra 透過提供評估、分析和追蹤已識別的人工智慧風險的功能來支援 NIST 人工智慧風險管理框架的測量功能。

Dioptra 提供 REST API，可透過直覺的 Web 介面、Python 用戶端或使用者選擇的任何 REST 用戶端程式庫進行控制，用於設計、管理、執行和追蹤實驗。詳細資訊請參閱 https://pages.nist.gov/dioptra/ 上的專案文件。

• 目前版本狀態
• 使用案例
• 主要特性
• 使用說明
  • 建置容器
  • 運行屈光鏡
  • 用戶註冊
• 開發屈光鏡
• 執照
• 如何引用

目前版本狀態

版本 1.0.1——持續改進和開發

使用案例

我們設想 Dioptra 的主要用例如下：

• 模型測試：
  • 第一方 - 在整個開發生命週期中評估 AI 模型
  • 第二方 - 在採集過程中或在評估實驗室環境中評估 AI 模型
  • 第三方 - 在審計或合規活動期間評估人工智慧模型
• 研究：幫助值得信賴的人工智慧研究人員進行追蹤實驗
• 評估與挑戰：為參與者提供共同的平台和資源
• 紅隊：在受控環境中向紅隊公開模型和資源

主要特性

Dioptra 致力於實現以下關鍵特性：

• 可重複：Dioptra 自動建立資源快照，以便可以重複和驗證實驗
• 可追溯：追蹤實驗及其輸入的完整歷史記錄
• 可擴充：支援擴充功能並透過插件系統匯入現有Python包
• 可互通：類型系統促進插件之間的互通性
• 模組化：新實驗可以由簡單的 yaml 檔案中的模組化組件組成
• 安全：Dioptra 即將推出具有存取控制的用戶身份驗證
• 互動：使用者可以透過直覺的網路介面與 Dioptra 互動
• 可共用和可重複使用：Dioptra 可以部署在多租用戶環境中，以便使用者可以共用和重複使用元件

使用說明

建置容器

設定 Dioptra 的第一步是複製儲存庫並為部署中的各種服務建置 Docker 容器。有關說明，請參閱文件的建置容器部分。

運行屈光鏡

建置容器後，下一步是使用 cruft 配置部署並執行 Dioptra。有關說明，請參閱文件的「運行 Dioptra」部分。

此外，您可能想要新增資料集，請參閱文件的下載資料集部分以了解詳細資訊。

用戶註冊

透過任一使用者介面向您的 Dioptra 實例註冊使用者帳戶。可以透過 Web 瀏覽器透過建立部署時指定的 URL 存取使用者介面。預設值為 http://localhost。

開發屈光鏡

如果您有興趣為 Dioptra 做出貢獻，請參閱開發者指南

執照

該軟體 (Dioptra) 由美國商務部下屬的國家標準與技術研究所 (NIST) 作為公共服務提供。該軟體部分由 NIST 員工開發，部分由 NIST 承包商開發。由 NIST 承包商開發的本軟體部分的版權已授權或轉讓給 NIST。根據《美國法典》第 17 章第 105 條，NIST 員工的作品在美國不受版權保護。但是，NIST 可能擁有其員工創建的軟體的國際版權以及分配或許可給 NIST 的部分軟體的國內版權（或許可權）。如果 NIST 擁有該軟體的版權，則該軟體根據 Creative Commons Attribution 4.0 International 授權 (CC BY 4.0) 提供。 CC BY 4.0 授權的免責聲明適用於 NIST 開發或授權的軟體的所有部分。

如何引用

格拉斯布倫納、詹姆斯、布斯、哈羅德、曼維爾、基斯、塞克斯頓、朱利安、奇澤姆、麥可安迪、蔡、亨利、漢德、安德魯、霍奇斯、布朗溫、斯凱瑪、保羅、表哥、德米特里、特拉普內爾、艾瑞克、特拉普內爾、馬克、黃，Howard, Rowe, Paul, Byrne, Alex (2024) ，Dioptra 測試平台，國家標準與技術研究所，https://doi.org/10.18434/mds2-3398（訪問“今天的日期”）

注意：將“今天的日期”替換為今天的日期

註腳

1. https://doi.org/10.6028/NIST.AI.100-1 ↩