pii masker

PII Masker — это усовершенствованный инструмент с открытым исходным кодом, который защищает ваши конфиденциальные данные с помощью современного искусственного интеллекта на базе DeBERTa-v3.

Возможности • Установка • Быстрый старт • Как это работает • Участие

PII Masker — это усовершенствованный инструмент с открытым исходным кодом, предназначенный для защиты ваших конфиденциальных данных с использованием передовых моделей искусственного интеллекта. Этот инструмент, созданный на базе DeBERTa-v3, обеспечивает высокоточное обнаружение и маскирование личной информации (PII), что делает его идеальным для любых рабочих процессов, чувствительных к данным. Независимо от того, обрабатываете ли вы данные клиентов, выполняете анализ данных или обеспечиваете соблюдение правил конфиденциальности, PII Masker предоставляет надежное масштабируемое решение для обеспечения безопасности вашей информации.

Почему стоит выбрать PII Masker?

При работе с конфиденциальной информацией крайне важно использовать инструменты, которые не только хорошо работают, но также обеспечивают соответствие требованиям и защищают конфиденциальность. Вот чем выделяется PII Masker:

• Высокая точность : используется DeBERTa-v3 для точного обнаружения и маскировки различных типов личных данных.
• Соблюдение требований : разработано, чтобы помочь организациям соблюдать законы и правила конфиденциальности.
• Гибкая интеграция : предлагает простую интеграцию с существующими системами через простой API Python.

Ключевые особенности

• Комплексная защита : идентифицирует и маскирует несколько типов PII, включая имена, адреса, номера телефонов и т. д.
• Высокая производительность : на базе DeBERTa-v3 с поддержкой 1024 токенов для обработки более длинных документов.
• Нацеленность на точность : расширенная модель НЛП, настроенная специально для обнаружения личных данных.
• Структурированный вывод : получите как замаскированный текст, так и структурированный словарь PII.
• Простая интеграция : простой API Python для плавной интеграции в ваш рабочий процесс.

? Установка

1. Клонируем репозиторий:

git clone https://github.com/yourusername/pii-masker.git
cd pii-masker

2. Установите зависимости:

pip install -r requirements.txt

3. Загрузите модель:

 # Option 1: Manual download
# Visit: https://huggingface.co/collections/hydroxai/pii-models-674649fea0de7ab99ed11347
# Place files in: pii-masker/output_model/deberta3base_1024/ 

Быстрый старт

1. Перейдите в каталог pii-masker :

    cd pii-masker
   

2. Для начала используйте следующий код:

    from model import PIIMasker
    
   # Initialize the PIIMasker
   masker = PIIMasker ()
    
   # Mask PII in your text
   text = "John Doe lives at 1234 Elm St."
   masked_text , pii_dict = masker . mask_pii ( text )
    
   print ( masked_text )
   # Output: "[NAME] lives at [ADDRESS]" 

? Как это работает

PII Masker использует сложный конвейер на базе DeBERTa-v3:

1. Токенизация → Интеллектуальное разделение текста для оптимальной обработки
2. Вывод модели → Обнаружение личных данных на основе искусственного интеллекта
3. Распознавание объектов → Точная идентификация конфиденциальных данных
4. Маскирование → Безопасная замена PII заполнителями.
5. Извлечение данных → Структурированный вывод для дальнейшей обработки.

? Последние обновления

Мы рады объявить о значительном дополнении к проекту PII Masker: новой модели с подходом, отличным от DeBERTa. Вот подробности:

• ? Ссылка на модель:

• Hydroxai/pii_model_longtransfomer_version

• Деталь модели:

• train_pii_longtransformer.ipynb

• ? Улучшение производительности:

• Эта новая реализация модели привела к повышению производительности примерно на 4% по сравнению с предыдущей моделью DeBERTa-v3. Сочетание увеличенной длины последовательности Longformer (4096 токенов) и головки Bi-LSTM улучшает понимание последовательного контекста, делая обнаружение PII более точным и надежным.

Расширенное использование

Посмотрите наши подробные примеры:

• Пример интеграции RAG

? Содействие

Благодаря вкладам сообщество открытого исходного кода становится прекрасным местом для обучения, вдохновения и творчества. Мы очень ценим любой ваш вклад.

1. Форкнуть проект
2. Создайте свою ветку функций
3. Зафиксируйте свои изменения ( git commit -m 'Add some AmazingFeature' )
4. Нажмите на ветку ( git push origin feature/AmazingFeature )
5. Открыть запрос на включение

Благодарности

Особая благодарность:

• Microsoft для модели DeBERTa
• Hugging Face для хостинга моделей и библиотеки трансформеров
• Zilliz за поддержку и Milvus, векторную базу данных, лежащую в основе нашего решения.
• Все наши участники и сторонники

---

Сделано с ❤️ для сообщества разработчиков, заботящихся о конфиденциальности.