MindArmour concentra-se nas questões de segurança e privacidade da IA. Comprometido em aumentar a segurança e credibilidade dos modelos e proteger a privacidade dos dados dos usuários. Ele contém principalmente 3 módulos: módulo de robustez de amostra contraditória, módulo Fuzz Testing e módulo de proteção e avaliação de privacidade.
O módulo de robustez de exemplo adversário é usado para avaliar a robustez do modelo em relação a exemplos adversários e fornece métodos de aprimoramento de modelo para aprimorar a capacidade do modelo de resistir a ataques de exemplo adversários e melhorar a robustez do modelo. O módulo de robustez de amostras adversárias contém quatro submódulos: geração de amostras adversárias, detecção de amostras adversárias, modelo de defesa e avaliação de ataque e defesa.
O diagrama de arquitetura do módulo de robustez da amostra adversária é o seguinte:
O módulo Fuzz Testing é um teste de segurança para modelos de IA. De acordo com as características da rede neural, a cobertura de neurônios é introduzida como um guia para testes de Fuzz, orientando o Fuzzer a gerar amostras no sentido de aumentar a cobertura de neurônios, para que a entrada. pode ativar mais neurônios, com uma distribuição mais ampla de valores de neurônios para testar completamente as redes neurais e explorar diferentes tipos de resultados de saída do modelo e comportamentos errôneos.
O diagrama de arquitetura do módulo Fuzz Testing é o seguinte
O módulo de proteção de privacidade inclui treinamento diferenciado em privacidade e avaliação de vazamento de privacidade.
O treinamento de privacidade diferencial inclui otimizadores de privacidade diferencial dinâmico ou não dinâmico SGD, Momentum e Adam. O mecanismo de ruído suporta ruído de distribuição gaussiana e o monitoramento de orçamento de privacidade diferencial inclui ZCDP e RDP.
O diagrama de arquitetura de privacidade diferencial é o seguinte
O módulo de avaliação de vazamento de privacidade é usado para avaliar o risco de o modelo vazar a privacidade do usuário. O método de inferência de associação é usado para inferir se a amostra pertence ao conjunto de dados de treinamento do usuário para avaliar a segurança dos dados de privacidade do modelo de aprendizagem profunda.
O diagrama estrutural do módulo de avaliação de vazamento de privacidade é o seguinte: