pii masker

PII Masker é uma ferramenta avançada de código aberto que protege seus dados confidenciais usando IA de última geração, desenvolvida por DeBERTa-v3

Recursos • Instalação • Início rápido • Como funciona • Contribuindo

PII Masker é uma ferramenta avançada de código aberto projetada para proteger seus dados confidenciais, aproveitando modelos de IA de ponta. Construída com base no DeBERTa-v3, esta ferramenta garante detecção e mascaramento de alta precisão de informações de identificação pessoal (PII), tornando-a perfeita para qualquer fluxo de trabalho sensível a dados. Esteja você lidando com dados de clientes, realizando análises de dados ou garantindo a conformidade com regulamentos de privacidade, o PII Masker oferece uma solução robusta e escalável para manter suas informações seguras.

Por que escolher o PII Masker?

Ao lidar com informações confidenciais, é crucial usar ferramentas que não apenas tenham um bom desempenho, mas também garantam a conformidade e protejam a privacidade. Veja por que o PII Masker se destaca:

• Alta precisão : utiliza DeBERTa-v3 para detecção precisa e mascaramento de vários tipos de PII.
• Amigável à conformidade : projetado para ajudar as organizações a cumprir as leis e regulamentos de privacidade.
• Integração flexível : oferece fácil integração com sistemas existentes por meio de uma API Python simples.

Principais recursos

• Proteção abrangente : identifica e mascara vários tipos de PII, incluindo nomes, endereços, números de telefone e muito mais
• Alto desempenho : desenvolvido com DeBERTa-v3 com suporte a 1024 tokens para processamento de documentos mais longos
• Foco na precisão : modelo de PNL avançado ajustado especificamente para detecção de PII
• Saída estruturada : obtenha texto mascarado e dicionário PII estruturado
• Integração fácil : API Python simples para integração perfeita em seu fluxo de trabalho

? Instalação

1. Clone o repositório:

git clone https://github.com/yourusername/pii-masker.git
cd pii-masker

2. Instale dependências:

pip install -r requirements.txt

3. Baixe o modelo:

 # Option 1: Manual download
# Visit: https://huggingface.co/collections/hydroxai/pii-models-674649fea0de7ab99ed11347
# Place files in: pii-masker/output_model/deberta3base_1024/ 

Início rápido

1. Mude para o diretório pii-masker :

    cd pii-masker
   

2. Use o seguinte código para começar:

    from model import PIIMasker
    
   # Initialize the PIIMasker
   masker = PIIMasker ()
    
   # Mask PII in your text
   text = "John Doe lives at 1234 Elm St."
   masked_text , pii_dict = masker . mask_pii ( text )
    
   print ( masked_text )
   # Output: "[NAME] lives at [ADDRESS]" 

? Como funciona

PII Masker emprega um pipeline sofisticado desenvolvido com DeBERTa-v3:

1. Tokenização → Divisão inteligente de texto para processamento ideal
2. Inferência de modelo → Detecção de PII alimentada por IA
3. Reconhecimento de Entidade → Identificação precisa de dados confidenciais
4. Mascaramento → Substituição segura de PII por espaços reservados
5. Extração de dados → Saída estruturada para processamento posterior

? Últimas atualizações

Temos o prazer de anunciar uma adição significativa ao projeto PII Masker: um novo modelo com uma abordagem diferente do DeBERTa. Aqui estão os detalhes:

• ? Link do modelo:

• hidroxai/pii_model_longtransfomer_version

• Detalhe do modelo:

• train_pii_longtransformer.ipynb

• ? Melhoria de desempenho:

• A implementação deste novo modelo resultou em uma melhoria de aproximadamente 4% no desempenho em comparação com o modelo DeBERTa-v3 anterior. A combinação do comprimento de sequência estendido do Longformer (4.096 tokens) e do cabeçote Bi-LSTM aprimora a compreensão do contexto sequencial, tornando a detecção de PII mais precisa e confiável.

Uso Avançado

Confira nossos exemplos detalhados:

• Exemplo de integração RAG

? Contribuindo

As contribuições tornam a comunidade de código aberto um lugar incrível para aprender, inspirar e criar. Qualquer contribuição que você fizer será muito apreciada .

1. Bifurque o projeto
2. Crie sua ramificação de recursos
3. Confirme suas alterações ( git commit -m 'Add some AmazingFeature' )
4. Enviar para a filial ( git push origin feature/AmazingFeature )
5. Abra uma solicitação pull

Agradecimentos

Agradecimentos especiais a:

• Microsoft para o modelo DeBERTa
• Hugging Face para hospedagem de modelos e biblioteca de transformadores
• Zilliz por seu apoio e Milvus, o banco de dados vetorial que alimenta nossa solução
• Todos os nossos colaboradores e apoiadores

---

Feito com ❤️ para a comunidade de desenvolvedores preocupados com a privacidade