pii masker

PII Masker est un outil open source avancé qui protège vos données sensibles à l'aide d'une IA de pointe, optimisée par DeBERTa-v3.

Fonctionnalités • Installation • Démarrage rapide • Comment ça marche • Contribuer

PII Masker est un outil open source avancé conçu pour protéger vos données sensibles en tirant parti de modèles d'IA de pointe. Construit sur DeBERTa-v3, cet outil garantit une détection et un masquage de haute précision des informations personnellement identifiables (PII), ce qui en fait un ajustement parfait pour tous les flux de travail sensibles aux données. Que vous traitiez des données client, effectuiez des analyses de données ou garantissiez le respect des réglementations en matière de confidentialité, PII Masker fournit une solution robuste et évolutive pour assurer la sécurité de vos informations.

Pourquoi choisir PII Masker ?

Lors du traitement d'informations sensibles, il est essentiel d'utiliser des outils qui non seulement fonctionnent bien, mais qui garantissent également la conformité et protègent la confidentialité. Voici pourquoi PII Masker se démarque :

• Haute précision : utilise DeBERTa-v3 pour une détection et un masquage précis de divers types de PII.
• Respectueux de la conformité : conçu pour aider les organisations à respecter les lois et réglementations en matière de confidentialité.
• Intégration flexible : offre une intégration facile avec les systèmes existants via une simple API Python.

Principales fonctionnalités

• Protection complète : identifie et masque plusieurs types de données personnelles, notamment les noms, adresses, numéros de téléphone, etc.
• Hautes performances : optimisé par DeBERTa-v3 avec prise en charge de 1 024 jetons pour le traitement de documents plus longs
• Axé sur la précision : modèle NLP avancé affiné spécifiquement pour la détection des informations personnelles
• Sortie structurée : obtenez à la fois du texte masqué et un dictionnaire PII structuré
• Intégration facile : API Python simple pour une intégration transparente dans votre flux de travail

? Installation

1. Clonez le dépôt :

git clone https://github.com/yourusername/pii-masker.git
cd pii-masker

2. Installer les dépendances :

pip install -r requirements.txt

3. Téléchargez le modèle :

 # Option 1: Manual download
# Visit: https://huggingface.co/collections/hydroxai/pii-models-674649fea0de7ab99ed11347
# Place files in: pii-masker/output_model/deberta3base_1024/ 

Démarrage rapide

1. Accédez au répertoire pii-masker :

    cd pii-masker
   

2. Utilisez le code suivant pour commencer :

    from model import PIIMasker
    
   # Initialize the PIIMasker
   masker = PIIMasker ()
    
   # Mask PII in your text
   text = "John Doe lives at 1234 Elm St."
   masked_text , pii_dict = masker . mask_pii ( text )
    
   print ( masked_text )
   # Output: "[NAME] lives at [ADDRESS]" 

? Comment ça marche

PII Masker utilise un pipeline sophistiqué alimenté par DeBERTa-v3 :

1. Tokenisation → Division intelligente du texte pour un traitement optimal
2. Inférence de modèle → Détection PII basée sur l'IA
3. Reconnaissance d'entités → Identification précise des données sensibles
4. Masquage → Remplacement sécurisé des informations personnelles par des espaces réservés
5. Extraction de données → Sortie structurée pour un traitement ultérieur

? Dernières mises à jour

Nous sommes ravis d'annoncer un ajout important au projet PII Masker : un nouveau modèle avec une approche différente de DeBERTa. Voici les détails :

• ? Lien du modèle :

• hydroxai/pii_model_longtransfomer_version

• Détail du modèle :

• train_pii_longtransformer.ipynb

• ? Amélioration des performances :

• Cette mise en œuvre d'un nouveau modèle a entraîné une amélioration des performances d'environ 4 % par rapport au modèle DeBERTa-v3 précédent. La combinaison de la longueur de séquence étendue de Longformer (4 096 jetons) et de la tête Bi-LSTM améliore la compréhension du contexte séquentiel, rendant la détection des PII plus précise et fiable.

Utilisation avancée

Consultez nos exemples détaillés :

• Exemple d'intégration RAG

? Contribuer

Les contributions font de la communauté open source un endroit formidable pour apprendre, inspirer et créer. Toutes les contributions que vous apportez sont grandement appréciées .

1. Forkez le projet
2. Créez votre branche de fonctionnalités
3. Validez vos modifications ( git commit -m 'Add some AmazingFeature' )
4. Pousser vers la branche ( git push origin feature/AmazingFeature )
5. Ouvrir une demande de tirage

Remerciements

Un merci spécial à :

• Microsoft pour le modèle DeBERTa
• Hugging Face pour l'hébergement de modèles et la bibliothèque de transformateurs
• Zilliz pour leur support et Milvus, la base de données vectorielles qui alimente notre solution
• Tous nos contributeurs et sympathisants

---

Fabriqué avec ❤️ pour la communauté des développeurs soucieux de la confidentialité