pii masker

PII Masker es una herramienta avanzada de código abierto que protege sus datos confidenciales utilizando IA de última generación, impulsada por DeBERTa-v3.

Características • Instalación • Inicio rápido • Cómo funciona • Contribución

PII Masker es una herramienta avanzada de código abierto diseñada para proteger sus datos confidenciales aprovechando modelos de inteligencia artificial de vanguardia. Construida sobre DeBERTa-v3, esta herramienta garantiza la detección y el enmascaramiento de alta precisión de información de identificación personal (PII), lo que la hace perfecta para cualquier flujo de trabajo sensible a datos. Ya sea que esté manejando datos de clientes, realizando análisis de datos o garantizando el cumplimiento de las normas de privacidad, PII Masker proporciona una solución sólida y escalable para mantener su información segura.

¿Por qué elegir PII Masker?

Al manejar información confidencial, es fundamental utilizar herramientas que no solo funcionen bien sino que también garanticen el cumplimiento y protejan la privacidad. He aquí por qué se destaca PII Masker:

• Alta precisión : utiliza DeBERTa-v3 para una detección y enmascaramiento precisos de varios tipos de PII.
• Compliance Friendly : Diseñado para ayudar a las organizaciones a cumplir con las leyes y regulaciones de privacidad.
• Integración flexible : ofrece una fácil integración con sistemas existentes a través de una sencilla API de Python.

Características clave

• Protección integral : identifica y enmascara múltiples tipos de PII, incluidos nombres, direcciones, números de teléfono y más.
• Alto rendimiento : Desarrollado por DeBERTa-v3 con soporte de 1024 tokens para procesar documentos más largos
• Enfocado en precisión : modelo avanzado de PNL ajustado específicamente para la detección de PII
• Salida estructurada : obtenga texto enmascarado y diccionario de PII estructurado
• Integración sencilla : API de Python simple para una integración perfecta en su flujo de trabajo

? Instalación

1. Clonar el repositorio:

git clone https://github.com/yourusername/pii-masker.git
cd pii-masker

2. Instalar dependencias:

pip install -r requirements.txt

3. Descarga el modelo:

 # Option 1: Manual download
# Visit: https://huggingface.co/collections/hydroxai/pii-models-674649fea0de7ab99ed11347
# Place files in: pii-masker/output_model/deberta3base_1024/ 

Inicio rápido

1. Cambie al directorio pii-masker :

    cd pii-masker
   

2. Utilice el siguiente código para comenzar:

    from model import PIIMasker
    
   # Initialize the PIIMasker
   masker = PIIMasker ()
    
   # Mask PII in your text
   text = "John Doe lives at 1234 Elm St."
   masked_text , pii_dict = masker . mask_pii ( text )
    
   print ( masked_text )
   # Output: "[NAME] lives at [ADDRESS]" 

? Cómo funciona

PII Masker emplea un sofisticado proceso impulsado por DeBERTa-v3:

1. Tokenización → División de texto inteligente para un procesamiento óptimo
2. Inferencia de modelo → Detección de PII impulsada por IA
3. Reconocimiento de entidades → Identificación precisa de datos sensibles
4. Enmascaramiento → Reemplazo seguro de PII con marcadores de posición
5. Extracción de datos → Salida estructurada para su posterior procesamiento

? Últimas actualizaciones

Nos complace anunciar una incorporación importante al proyecto PII Masker: un nuevo modelo con un enfoque diferente al de DeBERTa. Aquí están los detalles:

• ? Enlace modelo:

• hydroxai/pii_model_longtransfomer_version

• Detalle del modelo:

• train_pii_longtransformer.ipynb

• ? Mejora del rendimiento:

• La implementación de este nuevo modelo ha resultado en aproximadamente una mejora del 4% en el rendimiento en comparación con el modelo anterior DeBERTa-v3. La combinación de la longitud de secuencia extendida de Longformer (4096 tokens) y el cabezal Bi-LSTM mejora la comprensión del contexto secuencial, lo que hace que la detección de PII sea más precisa y confiable.

Uso avanzado

Consulte nuestros ejemplos detallados:

• Ejemplo de integración RAG

? Contribuyendo

Las contribuciones hacen de la comunidad de código abierto un lugar increíble para aprender, inspirar y crear. Cualquier contribución que hagas será muy apreciada .

1. Bifurcar el proyecto
2. Crea tu rama de funciones
3. Confirme sus cambios ( git commit -m 'Add some AmazingFeature' )
4. Push to the Branch ( git push origin feature/AmazingFeature )
5. Abrir una solicitud de extracción

Expresiones de gratitud

Un agradecimiento especial a:

• Microsoft para el modelo DeBERTa
• Hugging Face para alojamiento de modelos y biblioteca de transformadores
• Zilliz por su apoyo y Milvus, la base de datos vectorial que impulsa nuestra solución.
• Todos nuestros contribuyentes y seguidores.

---

Hecho con ❤️ para la comunidad de desarrolladores preocupados por la privacidad