pii masker

PII Masker ist ein fortschrittliches Open-Source-Tool, das Ihre sensiblen Daten mithilfe modernster KI schützt, unterstützt von DeBERTa-v3

Funktionen • Installation • Schnellstart • Funktionsweise • Mitwirken

PII Masker ist ein fortschrittliches Open-Source-Tool, das zum Schutz Ihrer sensiblen Daten durch die Nutzung modernster KI-Modelle entwickelt wurde. Dieses auf DeBERTa-v3 basierende Tool gewährleistet eine hochpräzise Erkennung und Maskierung personenbezogener Daten (PII) und eignet sich somit perfekt für alle datensensiblen Arbeitsabläufe. Unabhängig davon, ob Sie Kundendaten verarbeiten, Datenanalysen durchführen oder die Einhaltung von Datenschutzbestimmungen sicherstellen, bietet PII Masker eine robuste, skalierbare Lösung, um Ihre Informationen zu schützen.

Warum sollten Sie sich für PII Masker entscheiden?

Beim Umgang mit sensiblen Informationen ist es wichtig, Tools zu verwenden, die nicht nur eine gute Leistung erbringen, sondern auch Compliance gewährleisten und die Privatsphäre schützen. Darum zeichnet sich PII Masker aus:

• Hohe Präzision : Nutzt DeBERTa-v3 für die genaue Erkennung und Maskierung verschiedener PII-Typen.
• Compliance-freundlich : Entwickelt, um Unternehmen dabei zu helfen, Datenschutzgesetze und -vorschriften einzuhalten.
• Flexible Integration : Bietet eine einfache Integration in bestehende Systeme über eine einfache Python-API.

Hauptmerkmale

• Umfassender Schutz : Identifiziert und maskiert mehrere PII-Typen, einschließlich Namen, Adressen, Telefonnummern und mehr
• Hohe Leistung : Unterstützt durch DeBERTa-v3 mit 1024-Token-Unterstützung für die Verarbeitung längerer Dokumente
• Präzisionsfokussiert : Fortschrittliches NLP-Modell, das speziell auf die PII-Erkennung abgestimmt ist
• Strukturierte Ausgabe : Erhalten Sie sowohl maskierten Text als auch ein strukturiertes PII-Wörterbuch
• Einfache Integration : Einfache Python-API für eine nahtlose Integration in Ihren Workflow

? Installation

1. Klonen Sie das Repository:

git clone https://github.com/yourusername/pii-masker.git
cd pii-masker

2. Abhängigkeiten installieren:

pip install -r requirements.txt

3. Laden Sie das Modell herunter:

 # Option 1: Manual download
# Visit: https://huggingface.co/collections/hydroxai/pii-models-674649fea0de7ab99ed11347
# Place files in: pii-masker/output_model/deberta3base_1024/ 

Schnellstart

1. Wechseln Sie in das pii-masker Verzeichnis:

    cd pii-masker
   

2. Verwenden Sie den folgenden Code, um zu beginnen:

    from model import PIIMasker
    
   # Initialize the PIIMasker
   masker = PIIMasker ()
    
   # Mask PII in your text
   text = "John Doe lives at 1234 Elm St."
   masked_text , pii_dict = masker . mask_pii ( text )
    
   print ( masked_text )
   # Output: "[NAME] lives at [ADDRESS]" 

? Wie es funktioniert

PII Masker verwendet eine hochentwickelte Pipeline, die auf DeBERTa-v3 basiert:

1. Tokenisierung → Intelligente Textaufteilung für optimale Verarbeitung
2. Modellinferenz → KI-gestützte PII-Erkennung
3. Entitätserkennung → Präzise Identifizierung sensibler Daten
4. Maskierung → Sicherer Ersatz von PII durch Platzhalter
5. Datenextraktion → Strukturierte Ausgabe zur Weiterverarbeitung

? Neueste Updates

Wir freuen uns, eine bedeutende Ergänzung des PII Masker-Projekts bekannt zu geben: ein neues Modell mit einem anderen Ansatz als DeBERTa. Hier die Details:

• ? Modelllink:

• hydroxai/pii_model_longtransfomer_version

• Modelldetail:

• train_pii_longtransformer.ipynb

• ? Leistungsverbesserung:

• Diese neue Modellimplementierung hat zu einer Leistungsverbesserung von etwa 4 % im Vergleich zum vorherigen DeBERTa-v3-Modell geführt. Die Kombination aus der erweiterten Sequenzlänge von Longformer (4096 Token) und dem Bi-LSTM-Kopf verbessert das sequentielle Kontextverständnis und macht die PII-Erkennung genauer und zuverlässiger.

Erweiterte Nutzung

Schauen Sie sich unsere detaillierten Beispiele an:

• RAG-Integrationsbeispiel

? Mitwirken

Beiträge machen die Open-Source-Community zu einem wunderbaren Ort zum Lernen, Inspirieren und Schaffen. Jeder Beitrag, den Sie leisten, wird sehr geschätzt .

1. Forken Sie das Projekt
2. Erstellen Sie Ihren Feature Branch
3. Übernehmen Sie Ihre Änderungen ( git commit -m 'Add some AmazingFeature' )
4. Push to the Branch ( git push origin feature/AmazingFeature )
5. Öffnen Sie eine Pull-Anfrage

Danksagungen

Besonderer Dank geht an:

• Microsoft für das DeBERTa-Modell
• Hugging Face für Modell-Hosting und Transformers-Bibliothek
• Zilliz für ihre Unterstützung und Milvus, die Vektordatenbank, die unsere Lösung unterstützt
• Alle unsere Mitwirkenden und Unterstützer

---

Mit ❤️ für die datenschutzbewusste Entwickler-Community erstellt