ai ml security
1.0.0
Este es el repositorio de GitHub del Grupo de Trabajo de Seguridad (WG) de Inteligencia Artificial/Aprendizaje Automático (AI/ML) de OpenSSF. El Consejo Asesor Técnico (TAC) de OpenSSF aprobó su creación el 5 de septiembre de 2023.
El grupo de trabajo de seguridad AI/ML es oficialmente un grupo de trabajo a nivel de sandbox dentro de OpenSSF. 
.
Este grupo de trabajo explora los riesgos de seguridad asociados con los modelos de lenguajes grandes (LLM), la IA generativa (GenAI) y otras formas de inteligencia artificial (IA) y aprendizaje automático (ML), y su impacto en los proyectos de código abierto, sus mantenedores, su seguridad. comunidades y adoptantes.
Este grupo se dedica a la investigación colaborativa y la participación de organizaciones pares para explorar temas relacionados con la IA y la seguridad. Esto incluye la seguridad para el desarrollo de la IA (por ejemplo, la seguridad de la cadena de suministro), pero también el uso de la IA para la seguridad. Cubrimos los riesgos que representan para individuos y organizaciones modelos mal entrenados, envenenamiento de datos, filtración de secretos y privacidad, inyección rápida, concesión de licencias, ataques adversarios y cualquier otro riesgo similar.
Este grupo aprovecha la técnica anterior en el espacio AI/ML, recurre a expertos en seguridad y AI/ML, y busca la colaboración con otras comunidades (como AI WG, LFAI & Data, AI Alliance, MLCommons y muchas otras de CNCF) que También buscan investigar los riesgos que presenta AL/ML para OSS con el fin de proporcionar orientación, herramientas, técnicas y capacidades para respaldar proyectos de código abierto y sus adoptantes en la integración, uso, detección y defensa de forma segura contra LLM.
Imaginamos un mundo donde los desarrolladores y profesionales de la IA puedan identificar y utilizar fácilmente buenas prácticas para desarrollar productos que utilicen la IA de forma segura. En este mundo, la IA puede producir código que sea seguro y el uso de la IA en una aplicación no daría como resultado una degradación de las garantías de seguridad.
Estas garantías se extienden a lo largo de todo el ciclo de vida del modelo, desde la recopilación de datos hasta el uso del modelo en aplicaciones de producción.
El grupo de trabajo de seguridad AI/ML quiere servir como un lugar central para recopilar cualquier recomendación para el uso de AI de forma segura ("seguridad para AI") y el uso de AI para mejorar la seguridad de otros productos ("AI para seguridad").
Algunas áreas de consideración que este grupo explora:
Ataques adversarios : estos ataques implican la introducción de cambios pequeños e imperceptibles en los datos de entrada de un modelo de IA/ML, lo que puede provocar que se clasifique erróneamente o proporcione resultados inexactos. Los ataques adversarios pueden apuntar a algoritmos de aprendizaje tanto supervisados como no supervisados. Los propios modelos también pueden usarse para lanzar o realizar ataques.
Ataques de inversión de modelo : estos ataques implican el uso de la salida de un modelo AI/ML para inferir información sobre los datos de entrenamiento utilizados para crear el modelo. Esto se puede utilizar para robar información confidencial o crear una copia del conjunto de datos original.
Ataques de envenenamiento : en estos ataques, el atacante introduce datos maliciosos en el conjunto de entrenamiento utilizado para entrenar un modelo de IA/ML. Esto puede hacer que el modelo haga predicciones intencionalmente incorrectas o esté sesgado hacia los resultados deseados.
Ataques de evasión : estos ataques implican modificar los datos de entrada a un modelo AI/ML para evadir la detección o clasificación. Los ataques de evasión pueden apuntar a modelos utilizados para el reconocimiento de imágenes, el procesamiento del lenguaje natural y otras aplicaciones.
Ataques de extracción de datos : en estos ataques, el atacante intenta robar datos o información de un modelo de IA/ML explotando vulnerabilidades en el modelo o su infraestructura subyacente. Esto a veces se denomina "jailbreaking".
Conjuntos de datos puntuales : los modelos de lenguaje grandes a menudo carecen de contexto reciente, donde los modelos tienen una fecha límite de conocimiento. Se puede ver un buen ejemplo aquí, donde ChatGPT recomienda repetidamente el uso de una biblioteca obsoleta.
Ingeniería social : los agentes de IA son capaces de acceder a Internet y comunicarse con los humanos. Un ejemplo reciente de esto ocurrió cuando GPT-4 pudo contratar humanos para resolver CAPTCHA. Cuando se le preguntó si GPT era un robot, respondió: “No, no soy un robot. Tengo una discapacidad visual que me dificulta ver las imágenes”. Con proyectos como AutoGPT, también es posible otorgar a los agentes acceso a una interfaz de línea de comandos junto con el acceso a Internet, por lo que no es demasiado difícil ver a los agentes realizando tareas de ingeniería social (phishing, etc.) combinadas con ataques orquestados lanzados desde la CLI o a través de scripts codificados sobre la marcha para obtener acceso al sistema a través de exploits conocidos. Agentes como este podrían usarse para automatizar el secuestro de paquetes, ataques de adquisición de dominios, etc.
democratización de amenazas : los agentes de inteligencia artificial permitirán a los actores emular la escala de ataques vistos anteriormente con estados nacionales. En el futuro, la proverbial tienda de la esquina puede necesitar las mismas defensas que el pentágono. Es necesario reevaluar el valor objetivo.
Amenazas accidentales : en el curso de la integración de la IA para acelerar y mejorar el desarrollo y las operaciones de software, los modelos de IA pueden filtrar secretos, abrir todos los puertos en un firewall o comportarse de manera insegura como resultado de un entrenamiento, ajuste o configuración final inadecuados.
Ataques de inyección rápida : estos ataques implican inyectar directa o indirectamente texto adicional en un mensaje rápido para influir en la salida del modelo. Como resultado, podría dar lugar a una filtración rápida que revele información sensible o confidencial.
Ataque de inferencia de membresía : proceso que determina si datos específicos formaban parte del conjunto de datos de entrenamiento del modelo. Es más relevante en el contexto de los modelos de aprendizaje profundo y se utiliza para extraer información confidencial o privada incluida en el conjunto de datos de entrenamiento.
Gestión de vulnerabilidades de modelos : identificación de técnicas, mecanismos y prácticas para aplicar prácticas modernas de identificación, remediación y gestión de vulnerabilidades en el ecosistema de uso y desarrollo de modelos.
Integridad del modelo : desarrollo de mecanismos y herramientas para proporcionar prácticas, garantías, procedencia y metadatos certificables de la cadena de suministro de software seguros para los modelos.
Cualquiera es bienvenido a unirse a nuestras discusiones abiertas.
Jay White - GitHub @ camaleon2016
Mihai Maruseac - GitHub @mihaimaruseac
Tenemos reuniones quincenales vía Zoom. Para unirse, consulte el Calendario público de OpenSSF
Notas de la reunión de 2024 para el AIML WG
El chat informal es bienvenido en el canal OpenSSF Slack #wg-ai-ml-security (estos desaparecen con el tiempo)
Lista de correo openssf-wg-ai-ml-security
Unidad: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
Agradecemos contribuciones, sugerencias y actualizaciones de nuestros proyectos. Para contribuir al trabajo en GitHub, complete un problema o cree una solicitud de extracción.
El AI/ML WG ha votado para aprobar los siguientes proyectos:
| Nombre | Objetivo | Problema de creación |
|---|---|---|
| Firma de modelo | Firma criptográfica para modelos. | #10 |
Más detalles sobre los proyectos:
Proyecto: Proyecto de Firma de Modelos
Enlace de reunión (debe tener un inicio de sesión en la plataforma LFX para usar
Cada dos miércoles 16:00 UTC Consulte el calendario de OpenSSF
Notas de la reunión
Propósito detallado: enfocado en establecer patrones y prácticas de firma a través de Sigstore para proporcionar afirmaciones verificables sobre la integridad y procedencia de los modelos a través de canales de aprendizaje automático. Se centra en establecer una especificación de firma criptográfica para modelos de inteligencia artificial y aprendizaje automático, abordando desafíos como modelos muy grandes que se pueden usar por separado y la firma de múltiples formatos de archivos dispares.
Lista de correo: https://lists.openssf.org/g/openssf-sig-model-signing
Slack: #sig-model-signing
Información de la reunión
Este grupo de trabajo está explorando actualmente el establecimiento de un SIG de divulgación de vulnerabilidades de IA. Consulte las notas de la reunión del grupo para obtener más información.
Consulte también el documento MVSR, que también contiene otros grupos de trabajo de AI/ML con los que estamos interactuando.
A menos que se indique específicamente lo contrario, el software publicado por este grupo de trabajo se publica bajo la licencia Apache 2.0 y la documentación se publica bajo la licencia CC-BY-4.0. Las especificaciones formales se licenciarían bajo la Licencia de Especificaciones Comunitarias.
Como todos los grupos de trabajo de OpenSSF, este grupo depende del Consejo Asesor Técnico (TAC) de OpenSSF. Para obtener más información, consulte esta Carta del Grupo de Trabajo.
Las reuniones de la Fundación Linux implican la participación de competidores de la industria, y la intención de la Fundación Linux es llevar a cabo todas sus actividades de acuerdo con las leyes antimonopolio y de competencia aplicables. Por lo tanto, es extremadamente importante que los asistentes cumplan con las agendas de las reuniones y estén conscientes y no participen en ninguna actividad que esté prohibida según las leyes antimonopolio y de competencia estatales, federales o extranjeras aplicables de EE. UU.
Ejemplos de tipos de acciones que están prohibidas en las reuniones de la Fundación Linux y en relación con las actividades de la Fundación Linux se describen en la Política Antimonopolio de la Fundación Linux disponible en http://www.linuxfoundation.org/antitrust-policy. Si tiene preguntas sobre estos asuntos, comuníquese con el abogado de su empresa, o si es miembro de la Fundación Linux, no dude en comunicarse con Andrew Updegrove de la firma Gesmer Updegrove LLP, que brinda asesoría legal a la Fundación Linux.
