MindArmor v1.9.1
1.9.1
MindArmour關注AI的安全和隱私問題。致力於增強模型的安全可信任、保護使用者的資料隱私。主要包含3個模組:對抗樣本穩健性模組、Fuzz Testing模組、隱私保護與評估模組。
對抗樣本穩健性模組用於評估模型對於對抗樣本的穩健性,並提供模型增強方法用於增強模型抗對抗樣本攻擊的能力,提升模型穩健性。對抗樣本穩健性模組包含了4個子模組:對抗樣本的生成、對抗樣本的偵測、模型防禦、攻防評估。
對抗樣本穩健性模組的架構圖如下
Fuzz Testing模組是針對AI模型的安全測試,根據神經網路的特點,引入神經元覆蓋率,作為Fuzz測試的指導,引導Fuzzer朝著神經元覆蓋率增加的方向生成樣本,讓輸入能夠激活更多的神經元,神經元值的分佈範圍更廣,以充分測試神經網絡,探索不同類型的模型輸出結果和錯誤行為。
Fuzz Testing模組的架構圖如下
隱私保護模組包含差分隱私訓練與隱私洩漏評估。
差分隱私訓練包含動態或非動態的差分隱私SGD、Momentum、Adam優化器,噪音機制支援高斯分佈噪音、拉普拉斯分佈噪聲,差分隱私預算監測包含ZCDP、RDP。
差分隱私的架構圖如下
隱私洩漏評估模組用於評估模型洩露用戶隱私的風險。利用成員推理方法來推測樣本是否屬於使用者訓練資料集,從而評估深度學習模型的隱私資料安全。
隱私洩漏評估模組框架圖如下