dioptra

Dioptra: тестовое программное обеспечение для характеристики технологий искусственного интеллекта

Dioptra — это программная тестовая платформа для оценки достоверных характеристик искусственного интеллекта (ИИ). Надежный ИИ — это: валидный и надежный, безопасный, защищенный и отказоустойчивый, подотчетный и прозрачный, объяснимый и интерпретируемый, обеспечивающий конфиденциальность и справедливый — с управляемой вредной предвзятостью ¹ . Dioptra поддерживает функцию измерения в системе управления рисками ИИ NIST, предоставляя функциональные возможности для оценки, анализа и отслеживания выявленных рисков ИИ.

Dioptra предоставляет REST API, которым можно управлять через интуитивно понятный веб-интерфейс, клиент Python или любую клиентскую библиотеку REST по выбору пользователя для проектирования, управления, выполнения и отслеживания экспериментов. Подробности доступны в документации проекта, доступной по адресу https://pages.nist.gov/dioptra/.

• Текущий статус выпуска
• Варианты использования
• Ключевые свойства
• Инструкции по использованию
  • Сборка контейнеров
  • Беги Диоптра
  • Регистрация пользователя
• Развивайте диоптрию
• Лицензия
• Как цитировать

Текущий статус выпуска

Версия 1.0.1 — с постоянными улучшениями и развитием.

Варианты использования

Мы предполагаем следующие основные варианты использования Dioptra:

• Тестирование модели:
  • Сторонняя сторона — оценка моделей ИИ на протяжении всего жизненного цикла разработки.
  • Сторонняя сторона — оценка моделей ИИ во время приобретения или в оценочной лабораторной среде.
  • Третья сторона — оценка моделей ИИ в ходе аудита или проверки соответствия
• Исследования: помогите заслуживающим доверия исследователям искусственного интеллекта в отслеживании экспериментов.
• Оценки и проблемы: предоставить участникам общую платформу и ресурсы.
• Red-Teaming: предоставление моделей и ресурсов красной команде в контролируемой среде.

Ключевые свойства

Диоптра стремится к следующим ключевым свойствам:

• Воспроизводимость: Dioptra автоматически создает снимки ресурсов, чтобы эксперименты можно было воспроизводить и проверять.
• Прослеживаемость: отслеживается полная история экспериментов и их исходные данные.
• Расширяемость: поддержка расширения функциональности и импорта существующих пакетов Python через систему плагинов.
• Совместимость: система типов способствует взаимодействию между плагинами.
• Модульность: новые эксперименты могут быть составлены из модульных компонентов в простом файле yaml.
• Безопасность: Dioptra обеспечивает аутентификацию пользователей и средства контроля доступа, которые появятся в ближайшее время.
• Интерактивность: пользователи могут взаимодействовать с Dioptra через интуитивно понятный веб-интерфейс.
• Возможность совместного использования и повторного использования: Dioptra можно развернуть в многопользовательской среде, чтобы пользователи могли совместно использовать и повторно использовать компоненты.

Инструкции по использованию

Сборка контейнеров

Первым шагом в настройке Dioptra является клонирование репозитория и создание Docker-контейнеров для различных сервисов, которые являются частью развертывания. Инструкции см. в разделе «Создание контейнеров» документации.

Беги Диоптра

После создания контейнеров следующим шагом будет настройка развертывания с помощью Cruft и запуск Dioptra. Инструкции см. в разделе «Работа с диоптрами» документации.

Кроме того, вы можете добавить наборы данных, подробности см. в разделе «Загрузка наборов данных» документации.

Регистрация пользователя

Зарегистрируйте учетную запись пользователя на своем экземпляре Dioptra через любой пользовательский интерфейс. Доступ к пользовательскому интерфейсу можно получить через веб-браузер по URL-адресу, указанному при создании развертывания. По умолчанию используется http://localhost.

Развивайте диоптрию

Если вы хотите внести свой вклад в Dioptra, ознакомьтесь с Руководством для разработчиков.

Лицензия

Это Программное обеспечение (Dioptra) предоставляется в качестве государственной услуги Национальным институтом стандартов и технологий (NIST), агентством Министерства торговли США. Это программное обеспечение было разработано частично сотрудниками NIST, а частично подрядчиками NIST. Авторские права на части этого программного обеспечения, разработанные подрядчиками NIST, были лицензированы или переданы NIST. В соответствии с разделом 105 раздела 17 Кодекса законов США, произведения сотрудников NIST не подлежат защите авторских прав в США. Однако NIST может обладать международными авторскими правами на программное обеспечение, созданное его сотрудниками, а также внутренними авторскими правами (или лицензионными правами) на части программного обеспечения, которые были переданы или лицензированы NIST. В той степени, в которой NIST владеет авторскими правами на это программное обеспечение, оно предоставляется по международной лицензии Creative Commons Attribution 4.0 (CC BY 4.0). Отказ от ответственности по лицензии CC BY 4.0 распространяется на все части программного обеспечения, разработанного или лицензированного NIST.

Как цитировать

Гласбреннер, Джеймс, Бут, Гарольд, Мэнвилл, Кит, Секстон, Джулиан, Чисхолм, Майкл Энди, Чой, Генри, Рука, Эндрю, Ходжес, Бронвин, Сцемама, Пол, Кузен, Дмитрий, Трапнелл, Эрик, Трапнелл, Марк, Хуанг , Ховард, Роу, Пол, Бирн, Алекс (2024), Испытательная платформа Диоптры, Национальный институт стандартов и технологий, https://doi.org/10.18434/mds2-3398 (доступ к «Сегодняшней дате»)

Примечание. Замените «Сегодняшнюю дату» на сегодняшнюю дату.

Сноски

1. https://doi.org/10.6028/NIST.AI.100-1 ↩