pii masker

PII Masker เป็นเครื่องมือโอเพ่นซอร์สขั้นสูงที่ปกป้องข้อมูลที่ละเอียดอ่อนของคุณโดยใช้ AI ที่ล้ำสมัยซึ่งขับเคลื่อนโดย DeBERTa-v3

คุณลักษณะ • การติดตั้ง • เริ่มต้นอย่างรวดเร็ว • วิธีการทำงาน • การสนับสนุน

PII Masker เป็นเครื่องมือโอเพ่นซอร์สขั้นสูงที่ออกแบบมาเพื่อปกป้องข้อมูลที่ละเอียดอ่อนของคุณโดยใช้ประโยชน์จากโมเดล AI ที่ล้ำสมัย เครื่องมือนี้สร้างขึ้นจาก DeBERTa-v3 ช่วยให้มั่นใจในการตรวจจับและการปกปิดข้อมูลส่วนบุคคล (PII) ที่มีความแม่นยำสูง ทำให้เหมาะอย่างยิ่งสำหรับเวิร์กโฟลว์ที่ละเอียดอ่อนต่อข้อมูล ไม่ว่าคุณจะจัดการข้อมูลลูกค้า ดำเนินการวิเคราะห์ข้อมูล หรือรับประกันการปฏิบัติตามกฎระเบียบด้านความเป็นส่วนตัว PII Masker มอบโซลูชันที่แข็งแกร่งและปรับขนาดได้เพื่อรักษาข้อมูลของคุณให้ปลอดภัย

เหตุใดจึงเลือก PII Masker

เมื่อจัดการข้อมูลที่ละเอียดอ่อน สิ่งสำคัญคือต้องใช้เครื่องมือที่ไม่เพียงทำงานได้ดี แต่ยังรับประกันการปฏิบัติตามข้อกำหนดและปกป้องความเป็นส่วนตัวอีกด้วย นี่คือสาเหตุที่ PII Masker โดดเด่น:

• ความแม่นยำสูง : ใช้ DeBERTa-v3 เพื่อการตรวจจับและการมาสก์ PII ประเภทต่างๆ ที่แม่นยำ
• เป็นมิตรต่อการปฏิบัติตามข้อกำหนด : ออกแบบมาเพื่อช่วยให้องค์กรปฏิบัติตามกฎหมายและข้อบังคับด้านความเป็นส่วนตัว
• การบูรณาการที่ยืดหยุ่น : นำเสนอการบูรณาการที่ง่ายดายกับระบบที่มีอยู่ผ่าน Python API ที่เรียบง่าย

คุณสมบัติที่สำคัญ

• การป้องกันที่ครอบคลุม : ระบุและปกปิด PII หลายประเภท รวมถึงชื่อ ที่อยู่ หมายเลขโทรศัพท์ และอื่นๆ
• ประสิทธิภาพสูง : ขับเคลื่อนโดย DeBERTa-v3 พร้อมรองรับโทเค็น 1,024 เพื่อการประมวลผลเอกสารที่ยาวขึ้น
• เน้นความแม่นยำ : โมเดล NLP ขั้นสูงที่ปรับแต่งมาโดยเฉพาะสำหรับการตรวจจับ PII
• ผลลัพธ์ที่มีโครงสร้าง : รับทั้งข้อความที่ปกปิดและพจนานุกรม PII ที่มีโครงสร้าง
• บูรณาการอย่างง่ายดาย : Python API อย่างง่ายสำหรับการผสานรวมเข้ากับขั้นตอนการทำงานของคุณได้อย่างราบรื่น

- การติดตั้ง

1. โคลนที่เก็บ:

git clone https://github.com/yourusername/pii-masker.git
cd pii-masker

2. ติดตั้งการพึ่งพา:

pip install -r requirements.txt

3. ดาวน์โหลดโมเดล:

 # Option 1: Manual download
# Visit: https://huggingface.co/collections/hydroxai/pii-models-674649fea0de7ab99ed11347
# Place files in: pii-masker/output_model/deberta3base_1024/ 

เริ่มต้นอย่างรวดเร็ว

1. เปลี่ยนเป็นไดเร็กทอรี pii-masker :

    cd pii-masker
   

2. ใช้รหัสต่อไปนี้เพื่อเริ่มต้น:

    from model import PIIMasker
    
   # Initialize the PIIMasker
   masker = PIIMasker ()
    
   # Mask PII in your text
   text = "John Doe lives at 1234 Elm St."
   masked_text , pii_dict = masker . mask_pii ( text )
    
   print ( masked_text )
   # Output: "[NAME] lives at [ADDRESS]" 

- มันทำงานอย่างไร

PII Masker ใช้ไปป์ไลน์ที่ซับซ้อนซึ่งขับเคลื่อนโดย DeBERTa-v3:

1. Tokenization → การแยกข้อความอัจฉริยะเพื่อการประมวลผลที่เหมาะสมที่สุด
2. การอนุมานแบบจำลอง → การตรวจจับ PII ที่ขับเคลื่อนด้วย AI
3. การรับรู้เอนทิตี → การระบุข้อมูลที่ละเอียดอ่อนอย่างแม่นยำ
4. การมาสก์ → การแทนที่ PII อย่างปลอดภัยด้วยตัวยึดตำแหน่ง
5. การสกัดข้อมูล → เอาต์พุตที่มีโครงสร้างสำหรับการประมวลผลเพิ่มเติม

- อัพเดทล่าสุด

เรารู้สึกตื่นเต้นที่จะประกาศส่วนเสริมที่สำคัญของโครงการ PII Masker: โมเดลใหม่ที่มีแนวทางที่แตกต่างจาก DeBERTa นี่คือรายละเอียด:

• - ลิงค์รุ่น:

• ไฮดรอกไซ/pii_model_longtransfomer_version

• รายละเอียดรุ่น:

• train_pii_longtransformer.ipynb

• - การปรับปรุงประสิทธิภาพ:

• การใช้โมเดลใหม่นี้ส่งผลให้ประสิทธิภาพดีขึ้นประมาณ 4% เมื่อเทียบกับรุ่น DeBERTa-v3 ก่อนหน้า การผสมผสานระหว่างความยาวลำดับที่ขยายของ Longformer (โทเค็น 4096) และส่วนหัว Bi-LSTM ช่วยเพิ่มความเข้าใจบริบทของลำดับ ทำให้การตรวจจับ PII แม่นยำและเชื่อถือได้มากขึ้น

การใช้งานขั้นสูง

ดูตัวอย่างโดยละเอียดของเรา:

• ตัวอย่างการรวม RAG

- มีส่วนร่วม

การมีส่วนร่วมทำให้ชุมชนโอเพ่นซอร์สเป็นสถานที่ที่ยอดเยี่ยมในการเรียนรู้ สร้างแรงบันดาลใจ และสร้างสรรค์ การมีส่วนร่วมใด ๆ ที่คุณทำจะ ได้รับการชื่นชมอย่างมาก

1. ส้อมโครงการ
2. สร้างสาขาคุณลักษณะของคุณ
3. ยอมรับการเปลี่ยนแปลงของคุณ ( git commit -m 'Add some AmazingFeature' )
4. พุชไปที่สาขา ( git push origin feature/AmazingFeature )
5. เปิดคำขอดึง

รับทราบ

ขอขอบคุณเป็นพิเศษสำหรับ:

• Microsoft สำหรับรุ่น DeBERTa
• Hugging Face สำหรับการโฮสต์โมเดลและไลบรารีหม้อแปลง
• Zilliz สำหรับการสนับสนุนและ Milvus ซึ่งเป็นฐานข้อมูลเวกเตอร์ที่ขับเคลื่อนโซลูชันของเรา
• ผู้สนับสนุนและผู้สนับสนุนของเราทุกคน

---

ทำด้วย ❤️ สำหรับชุมชนนักพัฒนาที่คำนึงถึงความเป็นส่วนตัว