pii masker

PII Masker adalah alat sumber terbuka canggih yang melindungi data sensitif Anda menggunakan AI tercanggih, didukung oleh DeBERTa-v3

Fitur • Instalasi • Mulai Cepat • Cara Kerja • Berkontribusi

PII Masker adalah alat sumber terbuka canggih yang dirancang untuk melindungi data sensitif Anda dengan memanfaatkan model AI mutakhir. Dibangun di atas DeBERTa-v3, alat ini memastikan deteksi dan penyembunyian Informasi Identifikasi Pribadi (PII) dengan presisi tinggi, sehingga sangat cocok untuk alur kerja sensitif data apa pun. Baik Anda menangani data pelanggan, melakukan analisis data, atau memastikan kepatuhan terhadap peraturan privasi, PII Masker memberikan solusi yang kuat dan terukur untuk menjaga keamanan informasi Anda.

Mengapa Memilih Masker PII?

Saat menangani informasi sensitif, penting untuk menggunakan alat yang tidak hanya berfungsi dengan baik namun juga memastikan kepatuhan dan melindungi privasi. Inilah mengapa PII Masker menonjol:

• Presisi Tinggi : Memanfaatkan DeBERTa-v3 untuk deteksi akurat dan penyembunyian berbagai jenis PII.
• Ramah Kepatuhan : Dirancang untuk membantu organisasi memenuhi undang-undang dan peraturan privasi.
• Integrasi Fleksibel : Menawarkan integrasi mudah dengan sistem yang ada melalui API Python sederhana.

Fitur Utama

• Perlindungan Komprehensif : Mengidentifikasi dan menutupi beberapa jenis PII termasuk nama, alamat, nomor telepon, dan banyak lagi
• Kinerja Tinggi : Didukung oleh DeBERTa-v3 dengan dukungan token 1024 untuk memproses dokumen yang lebih panjang
• Berfokus pada Presisi : Model NLP tingkat lanjut yang disempurnakan secara khusus untuk deteksi PII
• Output Terstruktur : Dapatkan teks bertopeng dan kamus PII terstruktur
• Integrasi Mudah : API Python sederhana untuk integrasi mulus ke dalam alur kerja Anda

? Instalasi

1. Kloning repositori:

git clone https://github.com/yourusername/pii-masker.git
cd pii-masker

2. Instal dependensi:

pip install -r requirements.txt

3. Unduh modelnya:

 # Option 1: Manual download
# Visit: https://huggingface.co/collections/hydroxai/pii-models-674649fea0de7ab99ed11347
# Place files in: pii-masker/output_model/deberta3base_1024/ 

Mulai Cepat

1. Ubah ke direktori pii-masker :

    cd pii-masker
   

2. Gunakan kode berikut untuk memulai:

    from model import PIIMasker
    
   # Initialize the PIIMasker
   masker = PIIMasker ()
    
   # Mask PII in your text
   text = "John Doe lives at 1234 Elm St."
   masked_text , pii_dict = masker . mask_pii ( text )
    
   print ( masked_text )
   # Output: "[NAME] lives at [ADDRESS]" 

? Cara Kerjanya

PII Masker menggunakan saluran pipa canggih yang didukung oleh DeBERTa-v3:

1. Tokenisasi → Pemisahan teks cerdas untuk pemrosesan optimal
2. Inferensi Model → Deteksi PII yang didukung AI
3. Pengenalan Entitas → Identifikasi data sensitif secara tepat
4. Masking → Penggantian PII yang aman dengan placeholder
5. Ekstraksi Data → Keluaran terstruktur untuk diproses lebih lanjut

? Pembaruan Terbaru

Kami sangat gembira mengumumkan tambahan signifikan pada proyek Masker PII: model baru dengan pendekatan berbeda dari DeBERTa. Berikut detailnya:

• ? Tautan Model:

• hydroxai/pii_model_longtransfomer_version

• Detail modelnya:

• train_pii_longtransformer.ipynb

• ? Peningkatan Kinerja:

• Penerapan model baru ini menghasilkan peningkatan kinerja sekitar 4% dibandingkan model DeBERTa-v3 sebelumnya. Kombinasi panjang urutan Longformer yang diperluas (4096 token) dan kepala Bi-LSTM meningkatkan pemahaman konteks sekuensial, menjadikan deteksi PII lebih akurat dan andal.

Penggunaan Tingkat Lanjut

Lihat contoh detail kami:

• Contoh Integrasi RAG

? Berkontribusi

Kontribusi menjadikan komunitas sumber terbuka tempat yang luar biasa untuk belajar, menginspirasi, dan berkreasi. Setiap kontribusi yang Anda berikan sangat dihargai .

1. Garpu Proyek
2. Buat Cabang Fitur Anda
3. Komit Perubahan Anda ( git commit -m 'Add some AmazingFeature' )
4. Dorong ke Cabang ( git push origin feature/AmazingFeature )
5. Buka Permintaan Tarik

Ucapan Terima Kasih

Terima kasih khusus kepada:

• Microsoft untuk model DeBERTa
• Memeluk Wajah untuk hosting model dan perpustakaan transformator
• Zilliz atas dukungannya dan Milvus, basis data vektor yang mendukung solusi kami
• Semua kontributor dan pendukung kami

---

Dibuat dengan ❤️ untuk komunitas pengembang yang sadar privasi