pii masker

PII Masker는 DeBERTa-v3 기반의 최첨단 AI를 사용하여 민감한 데이터를 보호하는 고급 오픈 소스 도구입니다.

기능 • 설치 • 빠른 시작 • 작동 방식 • 기여

PII Masker는 최첨단 AI 모델을 활용하여 민감한 데이터를 보호하도록 설계된 고급 오픈 소스 도구입니다. DeBERTa-v3를 기반으로 구축된 이 도구는 개인 식별 정보(PII)의 고정밀 감지 및 마스킹을 보장하므로 데이터에 민감한 모든 워크플로우에 완벽하게 적합합니다. 고객 데이터를 처리하든, 데이터 분석을 수행하든, 개인정보 보호 규정을 준수하든 PII Masker는 정보를 안전하게 유지하기 위한 강력하고 확장 가능한 솔루션을 제공합니다.

PII 마스커를 선택하는 이유는 무엇입니까?

중요한 정보를 처리할 때는 성능이 좋을 뿐만 아니라 규정 준수를 보장하고 개인정보를 보호하는 도구를 사용하는 것이 중요합니다. PII Masker가 뛰어난 이유는 다음과 같습니다.

• 높은 정밀도 : DeBERTa-v3를 활용하여 다양한 PII 유형을 정확하게 탐지하고 마스킹합니다.
• 규정 준수 친화적 : 조직이 개인 정보 보호 법률 및 규정을 준수할 수 있도록 설계되었습니다.
• 유연한 통합 : 간단한 Python API를 통해 기존 시스템과 쉽게 통합됩니다.

주요 특징

• 포괄적인 보호 : 이름, 주소, 전화번호 등을 포함한 여러 PII 유형을 식별하고 마스킹합니다.
• 고성능 : 더 긴 문서 처리를 위해 1024 토큰을 지원하는 DeBERTa-v3 기반
• Precision Focused : PII 감지를 위해 특별히 미세 조정된 고급 NLP 모델
• 구조화된 출력 : 마스킹된 텍스트와 구조화된 PII 사전을 모두 가져옵니다.
• 쉬운 통합 : 워크플로에 원활하게 통합하기 위한 간단한 Python API

? 설치

1. 저장소를 복제합니다.

git clone https://github.com/yourusername/pii-masker.git
cd pii-masker

2. 종속성을 설치합니다.

pip install -r requirements.txt

3. 모델 다운로드:

 # Option 1: Manual download
# Visit: https://huggingface.co/collections/hydroxai/pii-models-674649fea0de7ab99ed11347
# Place files in: pii-masker/output_model/deberta3base_1024/ 

빠른 시작

1. pii-masker 디렉터리로 변경합니다.

    cd pii-masker
   

2. 시작하려면 다음 코드를 사용하세요.

    from model import PIIMasker
    
   # Initialize the PIIMasker
   masker = PIIMasker ()
    
   # Mask PII in your text
   text = "John Doe lives at 1234 Elm St."
   masked_text , pii_dict = masker . mask_pii ( text )
    
   print ( masked_text )
   # Output: "[NAME] lives at [ADDRESS]" 

? 작동 방식

PII Masker는 DeBERTa-v3 기반의 정교한 파이프라인을 사용합니다.

1. 토큰화 → 최적의 처리를 위한 스마트 텍스트 분할
2. 모델 추론 → AI 기반 PII 감지
3. 개체 인식 → 민감한 데이터의 정확한 식별
4. 마스킹 → PII를 자리 표시자로 안전하게 교체
5. 데이터 추출 → 추가 처리를 위한 구조화된 출력

? 최신 업데이트

PII Masker 프로젝트에 DeBERTa와는 다른 접근 방식을 적용한 새로운 모델을 추가하게 되어 기쁘게 생각합니다. 자세한 내용은 다음과 같습니다.

• ? 모델 링크:

• Hydroxai/pii_model_longtransfomer_version

• 모델 세부사항:

• train_pii_longtransformer.ipynb

• ? 성능 개선:

• 이 새로운 모델 구현으로 이전 DeBERTa-v3 모델에 비해 성능이 약 4% 향상되었습니다. Longformer의 확장된 시퀀스 길이(4096개 토큰)와 Bi-LSTM 헤드의 조합은 순차적 컨텍스트 이해를 향상시켜 PII 감지를 더욱 정확하고 안정적으로 만듭니다.

고급 사용법

자세한 예시를 확인해보세요:

• RAG 통합 예

? 기여

기여는 오픈 소스 커뮤니티를 배우고, 영감을 주고, 창조할 수 있는 놀라운 장소로 만듭니다. 귀하의 기여 에 크게 감사드립니다 .

1. 프로젝트 포크
2. 기능 분기 만들기
3. 변경 사항 커밋( git commit -m 'Add some AmazingFeature' )
4. 브랜치로 푸시( git push origin feature/AmazingFeature )
5. 끌어오기 요청 열기

감사의 말

특별히 감사드립니다:

• DeBERTa 모델을 위한 Microsoft
• 모델 호스팅 및 변환기 라이브러리를 위한 Hugging Face
• Zilliz의 지원과 우리 솔루션을 지원하는 벡터 데이터베이스인 Milvus
• 우리의 모든 기여자와 지지자

---

개인 정보 보호를 중시하는 개발자 커뮤니티를 위해 ❤️으로 제작됨