dioptra

Dioptra: software de prueba para la caracterización de tecnologías de IA

Dioptra es una plataforma de prueba de software para evaluar las características confiables de la inteligencia artificial (IA). La IA confiable es: válida y confiable, segura y resiliente, responsable y transparente, explicable e interpretable, con privacidad mejorada y justa, con sesgos dañinos gestionados ¹ . Dioptra respalda la función de medición del marco de gestión de riesgos de IA del NIST al proporcionar funcionalidad para evaluar, analizar y rastrear los riesgos de IA identificados.

Dioptra proporciona una API REST, que se puede controlar a través de una interfaz web intuitiva, un cliente Python o cualquier biblioteca cliente REST de elección del usuario para diseñar, administrar, ejecutar y rastrear experimentos. Los detalles están disponibles en la documentación del proyecto disponible en https://pages.nist.gov/dioptra/.

• Estado de lanzamiento actual
• Casos de uso
• Propiedades clave
• Instrucciones de uso
  • construir los contenedores
  • Ejecute Dioptra
  • Registro de usuario
• Desarrollar dioptría
• Licencia
• Cómo citar

Estado de lanzamiento actual

Versión 1.0.1: con mejoras y desarrollo continuos

Casos de uso

Prevemos los siguientes casos de uso principales para Dioptra:

• Prueba de modelo:
  • 1.ª parte: evaluar modelos de IA durante todo el ciclo de vida de desarrollo
  • Tercero: evaluar modelos de IA durante la adquisición o en un entorno de laboratorio de evaluación
  • Tercero: evaluar modelos de IA durante actividades de auditoría o cumplimiento
• Investigación: ayudar a investigadores confiables de IA en el seguimiento de experimentos
• Evaluaciones y desafíos: proporcionar una plataforma y recursos comunes para los participantes
• Red-Teaming: exponer modelos y recursos a un equipo rojo en un entorno controlado

Propiedades clave

Dioptra se esfuerza por lograr las siguientes propiedades clave:

• Reproducible: Dioptra crea automáticamente instantáneas de recursos para que los experimentos puedan reproducirse y validarse.
• Trazable: se rastrea el historial completo de los experimentos y sus entradas.
• Extensible: soporte para ampliar la funcionalidad e importar paquetes de Python existentes a través de un sistema de complementos
• Interoperable: un sistema de tipos promueve la interoperabilidad entre complementos
• Modular: se pueden componer nuevos experimentos a partir de componentes modulares en un archivo yaml simple
• Seguro: Dioptra proporciona autenticación de usuario con controles de acceso próximamente
• Interactivo: los usuarios pueden interactuar con Dioptra a través de una interfaz web intuitiva
• Compartible y reutilizable: Dioptra se puede implementar en un entorno multiinquilino para que los usuarios puedan compartir y reutilizar componentes.

Instrucciones de uso

construir los contenedores

El primer paso para configurar Dioptra es clonar el repositorio y crear los contenedores acoplables para los distintos servicios que forman parte de una implementación. Consulte la sección Construcción de contenedores de la documentación para obtener instrucciones.

Ejecute Dioptra

Una vez construidos los contenedores, el siguiente paso es configurar la implementación con cruft y ejecutar Dioptra. Consulte la sección Ejecución de Dioptra de la documentación para obtener instrucciones.

Además, es posible que desee agregar conjuntos de datos; consulte la sección Descarga de conjuntos de datos de la documentación para obtener más detalles.

Registro de usuario

Registre una cuenta de usuario con su instancia de Dioptra a través de la interfaz de usuario. Se puede acceder a la interfaz de usuario a través de su navegador web en la URL especificada al crear la implementación. El valor predeterminado es http://localhost.

Desarrollar dioptría

Si está interesado en contribuir con Dioptra, consulte la Guía para desarrolladores.

Licencia

Este software (Dioptra) está disponible como servicio público por el Instituto Nacional de Estándares y Tecnología (NIST), una agencia del Departamento de Comercio de los Estados Unidos. Este software fue desarrollado en parte por empleados del NIST y en parte por contratistas del NIST. Los derechos de autor de partes de este software que fueron desarrollados por contratistas del NIST se han otorgado bajo licencia o se han asignado al NIST. De conformidad con el Título 17 del Código de los Estados Unidos, Sección 105, las obras de los empleados del NIST no están sujetas a protección de derechos de autor en los Estados Unidos. Sin embargo, el NIST puede tener derechos de autor internacionales sobre el software creado por sus empleados y derechos de autor nacionales (o derechos de licencia) sobre partes del software que fueron asignadas o licenciadas al NIST. En la medida en que NIST posee los derechos de autor de este software, está disponible bajo la licencia Creative Commons Attribution 4.0 International (CC BY 4.0). Las exenciones de responsabilidad de la licencia CC BY 4.0 se aplican a todas las partes del software desarrollado o bajo licencia del NIST.

Cómo citar

Glasbrenner, James, Booth, Harold, Manville, Keith, Sexton, Julian, Chisholm, Michael Andy, Choy, Henry, Mano, Andrew, Hodges, Bronwyn, Scemama, Paul, primo, Dmitry, Trapnell, Eric, Trapnell, Mark, Huang , Howard, Rowe, Paul, Byrne, Alex (2024), Plataforma de prueba Dioptra, Instituto Nacional de Estándares y Tecnología, https://doi.org/10.18434/mds2-3398 (Consultado 'Fecha de hoy')

NB: Reemplace 'Fecha de hoy' con la fecha de hoy

Notas a pie de página

1. https://doi.org/10.6028/NIST.AI.100-1 ↩