Insightface ดาวน์โหลด - ดาวน์โหลด Insightface ซอร์สโค้ด

ข้อมูลเชิงลึก

ซอร์สโค้ดอื่น ๆ

ดาวน์โหลด

InsightFace: โครงการวิเคราะห์ใบหน้า 2 มิติ และ 3 มิติ

โครงการ InsightFace ได้รับการดูแลโดย Jia Guo และ Jiankang Deng เป็นหลัก

สำหรับผู้มีส่วนร่วมหลักทั้งหมด โปรดตรวจสอบการมีส่วนร่วม

ใบอนุญาต

รหัสของ InsightFace ได้รับการเผยแพร่ภายใต้ใบอนุญาต MIT ไม่มีข้อจำกัดในการใช้งานทั้งเชิงวิชาการและเชิงพาณิชย์

ข้อมูลการฝึกอบรมที่มีคำอธิบายประกอบ (และแบบจำลองที่ได้รับการฝึกอบรมด้วยข้อมูลเหล่านี้) มีไว้เพื่อวัตถุประสงค์ในการวิจัยที่ไม่ใช่เชิงพาณิชย์เท่านั้น

ทั้งโมเดลการดาวน์โหลดด้วยตนเองจาก repo github ของเราและโมเดลการดาวน์โหลดอัตโนมัติด้วย python-library ของเราเป็นไปตามนโยบายสิทธิ์การใช้งานข้างต้น (ซึ่งมีวัตถุประสงค์เพื่อการวิจัยที่ไม่ใช่เชิงพาณิชย์เท่านั้น)

ข่าวเด่น

2024-08-01 เราได้รวมโมเดลการแลกเปลี่ยนใบหน้าที่ล้ำหน้าที่สุดของเรา: inswipper_cyn และ inswapper_dax เข้ากับบริการสลับใบหน้าของ Picsi.Ai โมเดลเหล่านี้มีประสิทธิภาพเหนือกว่าผลิตภัณฑ์เชิงพาณิชย์ที่คล้ายคลึงกันเกือบทั้งหมดและโมเดลโอเพ่นซอร์สของเรา inswapper_128 โปรดเยี่ยมชมเว็บไซต์ Picsi.Ai เพื่อใช้บริการและรับความช่วยเหลือ

2024-05-04 เราได้เพิ่ม InspireFace ซึ่งเป็น SDK การจดจำใบหน้าข้ามแพลตฟอร์มที่พัฒนาใน C/C++ ซึ่งรองรับระบบปฏิบัติการหลายระบบและแบ็กเอนด์ที่หลากหลาย

2023-04-01 : เราได้รวมโมเดลการสลับหน้าที่ทันสมัยที่สุดของเรา: inswapper_cyn และ inswapping_dax และย้ายบริการไปยังบอท Discord ซึ่งรองรับการแก้ไขรูปภาพที่สร้างใน Midjourney ดูรายละเอียดที่ web-demos/swapping_discord และเว็บไซต์ Picsi.Ai ของเรา .

2022-08-12 : เราประสบความสำเร็จอันดับที่ 1 ของความท้าทายในการสร้างใบหน้า 3 มิติแบบตาข้างเดียวโดยใช้ Perspective Projection ของการประชุมเชิงปฏิบัติการ ECCV-2022 WCPA กระดาษ และโค้ด

2021-11-30 : เปิดตัวความท้าทายที่กำลังดำเนินอยู่ของ MFR (เช่นเดียวกับ IFRT) ซึ่งเป็นเวอร์ชันขยายของ iccv21-mfr

2021-10-29 : เราคว้าอันดับที่ 1 ในเส้นทาง VISA ของ NIST-FRVT 1:1 โดยใช้ Partial FC (Xiang An, Jiankang Deng, Jia Guo)

บันทึกการเปลี่ยนแปลง

2024-08-01 เราได้รวมโมเดลการแลกเปลี่ยนใบหน้าที่ล้ำหน้าที่สุดของเรา: inswipper_cyn และ inswapper_dax เข้ากับบริการสลับใบหน้าของ Picsi.Ai โมเดลเหล่านี้มีประสิทธิภาพเหนือกว่าผลิตภัณฑ์เชิงพาณิชย์ที่คล้ายคลึงกันเกือบทั้งหมดและโมเดลโอเพ่นซอร์สของเรา inswapper_128 โปรดเยี่ยมชมเว็บไซต์ Picsi.Ai เพื่อใช้บริการและรับความช่วยเหลือ

2024-05-04 เราได้เพิ่ม InspireFace ซึ่งเป็น SDK การจดจำใบหน้าข้ามแพลตฟอร์มที่พัฒนาใน C/C++ ซึ่งรองรับระบบปฏิบัติการหลายระบบและแบ็กเอนด์ที่หลากหลาย

2024-04-17 : การสร้างภาพสะท้อนใบหน้าแบบมีเงื่อนไขโดยตาข้างเดียวได้รับการยอมรับโดย CVPR-2024

2023-08-08 : เราเผยแพร่การใช้งานการประมาณค่าการจ้องมองทั่วไปพร้อมการควบคุมดูแลแบบอ่อนแอจากมุมมองสังเคราะห์ที่การสร้างใหม่/การจ้องมอง

2023-05-03 : เราได้เปิดตัวความท้าทายในการต่อต้านการปลอมแปลง wild face เวอร์ชันที่กำลังดำเนินอยู่ ดูรายละเอียดได้ที่นี่

2023-04-01 : เราได้รวมโมเดลการสลับหน้าที่ทันสมัยที่สุดของเรา: inswapper_cyn และ inswapping_dax และย้ายบริการไปยังบอท Discord ซึ่งรองรับการแก้ไขรูปภาพที่สร้างใน Midjourney ดูรายละเอียดที่ web-demos/swapping_discord และเว็บไซต์ Picsi.Ai ของเรา .

2023-02-13 : เราเปิดตัวกิจกรรมท้าทายการปลอมแปลงใบหน้าแบบ Wild Face ขนาดใหญ่ในเวิร์กชอป CVPR23 ดูรายละเอียดได้ที่ Challenge/cvpr23-fas-wild

2022-11-28 : โค้ดบรรทัดเดียวสำหรับการสลับข้อมูลระบุตัวตนใบหน้าในแพ็คเกจ Python เวอร์ชัน 0.7 โปรดตรวจสอบตัวอย่างที่นี่

2022-10-28 : เว็บไซต์ MFR-ต่อเนื่องได้รับการปรับโครงสร้างใหม่ โปรดสร้างปัญหาหากมีข้อบกพร่องใดๆ

2022-09-22 : ขณะนี้เรามีการสาธิตเว็บแล้ว: การแปลใบหน้า การจดจำใบหน้า และการสลับใบหน้า

2022-08-12 : เราประสบความสำเร็จอันดับที่ 1 ของความท้าทายในการสร้างใบหน้า 3 มิติแบบตาข้างเดียวโดยใช้ Perspective Projection ของการประชุมเชิงปฏิบัติการ ECCV-2022 WCPA กระดาษ และโค้ด

2022-03-30 : FC บางส่วนยอมรับโดย CVPR-2022

2022-02-23 : SCRFD ยอมรับโดย ICLR-2022

2021-11-30 : เปิดตัวความท้าทายที่กำลังดำเนินอยู่ของ MFR (เช่นเดียวกับ IFRT) ซึ่งเป็นเวอร์ชันขยายของ iccv21-mfr

2021-10-29 : เราคว้าอันดับที่ 1 ในเส้นทาง VISA ของ NIST-FRVT 1:1 โดยใช้ Partial FC (Xiang An, Jiankang Deng, Jia Guo)

2021-10-11 : กระดานผู้นำของ ICCV21 - เปิดตัวการแข่งขัน Masked Face Recognition Challenge วิดีโอ: Youtube, Bilibili

2021-06-05 : เราเปิดตัว Masked Face Recognition Challenge & Workshop ใน ICCV 2021

การแนะนำ

InsightFace เป็นกล่องเครื่องมือวิเคราะห์ใบหน้าเชิงลึกแบบโอเพ่นซอร์ส 2D&3D โดยใช้ PyTorch และ MXNet เป็นหลัก

โปรดตรวจสอบเว็บไซต์ของเราเพื่อดูรายละเอียด

สาขาหลักทำงานร่วมกับ PyTorch 1.6+ และ/หรือ MXNet=1.6-1.8 กับ Python 3.x

InsightFace ใช้อัลกอริธึมล้ำสมัยที่หลากหลายอย่างมีประสิทธิภาพ ทั้งการจดจำใบหน้า การตรวจจับใบหน้า และการจัดตำแหน่งใบหน้า ซึ่งปรับให้เหมาะสมสำหรับทั้งการฝึกอบรมและการใช้งาน

เริ่มต้นอย่างรวดเร็ว

โปรดเริ่มต้นด้วยแพ็คเกจ Python ของเรา สำหรับทดสอบโมเดลการตรวจจับ การจดจำ และการจัดตำแหน่งบนรูปภาพอินพุต

การสาธิตวิดีโอ ArcFace

กรุณาคลิกที่ภาพเพื่อดูวิดีโอ Youtube สำหรับผู้ใช้ Bilibili คลิกที่นี่

โครงการ

หน้าบนเว็บไซต์ InsightFace ยังอธิบายโปรเจ็กต์ที่ได้รับการสนับสนุนทั้งหมดใน InsightFace อีกด้วย

คุณอาจสนใจความท้าทายบางอย่างที่ InsightFace จัดขึ้น

การจดจำใบหน้า

การแนะนำ

ในโมดูลนี้ เราให้ข้อมูลการฝึกอบรม การตั้งค่าเครือข่าย และการออกแบบการสูญเสียสำหรับการจดจำใบหน้าแบบลึก

วิธีการที่รองรับมีดังนี้:

แบ็คโบนเครือข่ายที่ใช้กันทั่วไปจะรวมอยู่ในวิธีการส่วนใหญ่ เช่น IResNet, MobilefaceNet, MobileNet, InceptionResNet_v2, DenseNet เป็นต้น

ชุดข้อมูล

ข้อมูลการฝึกอบรมรวมถึงแต่ไม่จำกัดเพียงชุดข้อมูล MS1M, VGG2 และ CASIA-Webface ที่ล้างแล้ว ซึ่งอัดแน่นอยู่ในรูปแบบไบนารี MXNet แล้ว กรุณาหน้าชุดข้อมูลเพื่อดูรายละเอียด

การประเมิน

เราจัดเตรียมไปป์ไลน์การประเมิน IJB และ Megaface มาตรฐานในการประเมิน

โมเดลที่ผ่านการฝึกอบรมมาแล้ว

โปรดตรวจสอบ Model-Zoo เพื่อดูโมเดลที่ได้รับการฝึกอบรมเพิ่มเติม

การนำ ArcFace ไปใช้ใหม่โดยบุคคลที่สาม

TensorFlow: InsightFace_TF
TensorFlow: tf-ข้อมูลเชิงลึก
TensorFlow: ข้อมูลเชิงลึก
PyTorch: InsightFace_Pytorch
PyTorch: arcface-pytorch
คาเฟ่: อาร์คเฟซคาเฟ่
Caffe: CombinedMargin-caffe
Tensorflow: InsightFace-tensorflow
TensorRT: wang-xinyu/tensorrtx
TensorRT: InsightFace-REST
ONNXRuntime C++: ArcFace-ONNXRuntime
ONNXRuntime Go: arcface-go
MNN: ArcFace-MNN
TNN: ArcFace-TNN
NCNN: ArcFace-NCNN

การตรวจจับใบหน้า

การแนะนำ

ในโมดูลนี้ เราให้ข้อมูลการฝึกอบรมพร้อมคำอธิบายประกอบ การตั้งค่าเครือข่าย และการออกแบบการสูญเสียสำหรับการฝึกอบรมการตรวจจับใบหน้า การประเมิน และการอนุมาน

วิธีการที่รองรับมีดังนี้:

RetinaFace (CVPR'2020)
สคอาร์เอฟดี (Arxiv'2021)
Blazeface_paddle

RetinaFace เป็นเครื่องตรวจจับใบหน้าแบบขั้นตอนเดียวที่ใช้งานได้จริงซึ่งได้รับการยอมรับโดย CVPR 2020 เรามีโค้ดการฝึก ชุดข้อมูลการฝึก โมเดลที่ฝึกไว้ล่วงหน้า และสคริปต์การประเมินผล

SCRFD เป็นวิธีการตรวจจับใบหน้าที่มีความแม่นยำสูงซึ่งมีคำอธิบายเบื้องต้นใน Arxiv เรามีไปป์ไลน์ที่ใช้งานง่ายเพื่อฝึกอบรมอุปกรณ์ตรวจจับใบหน้าประสิทธิภาพสูงพร้อมการรองรับ NAS

การจัดตำแหน่งใบหน้า

การแนะนำ

ในโมดูลนี้ เรามีชุดข้อมูลและไปป์ไลน์การฝึกอบรม/การอนุมานสำหรับการจัดตำแหน่งใบหน้า

วิธีการที่รองรับ:

SDUNets (BMVC'2018)
การถดถอยอย่างง่าย

SDUNets เป็นวิธีการที่ใช้แผนที่ความร้อนซึ่งเป็นที่ยอมรับใน BMVC

SimpleRegression ให้โมเดลจุดสังเกตใบหน้าน้ำหนักเบามากพร้อมการถดถอยพิกัดที่รวดเร็ว ข้อมูลเข้าของโมเดลเหล่านี้เป็นภาพใบหน้าที่ถูกครอบตัดแบบหลวมๆ ในขณะที่ข้อมูลเอาท์พุตเป็นพิกัดจุดสังเกตโดยตรง

การอ้างอิง

หากคุณพบว่า InsightFace มีประโยชน์ในการวิจัยของคุณ โปรดพิจารณาอ้างอิงเอกสารที่เกี่ยวข้องต่อไปนี้:

 @inproceedings{ren2023pbidr,
  title={Facial Geometric Detail Recovery via Implicit Representation},
  author={Ren, Xingyu and Lattas, Alexandros and Gecer, Baris and Deng, Jiankang and Ma, Chao and Yang, Xiaokang},
  booktitle={2023 IEEE 17th International Conference on Automatic Face and Gesture Recognition (FG)},  
  year={2023}
 }

@article{guo2021sample,
  title={Sample and Computation Redistribution for Efficient Face Detection},
  author={Guo, Jia and Deng, Jiankang and Lattas, Alexandros and Zafeiriou, Stefanos},
  journal={arXiv preprint arXiv:2105.04714},
  year={2021}
}

@inproceedings{gecer2021ostec,
  title={OSTeC: One-Shot Texture Completion},
  author={Gecer, Baris and Deng, Jiankang and Zafeiriou, Stefanos},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2021}
}

@inproceedings{an_2022_pfc_cvpr,
  title={Killing Two Birds with One Stone: Efficient and Robust Training of Face Recognition CNNs by Partial FC},
  author={An, Xiang and Deng, Jiangkang and Guo, Jia and Feng, Ziyong and Zhu, Xuhan and Jing, Yang and Tongliang, Liu},
  booktitle={CVPR},
  year={2022}
}
@inproceedings{an_2021_pfc_iccvw,
  title={Partial FC: Training 10 Million Identities on a Single Machine},
  author={An, Xiang and Zhu, Xuhan and Gao, Yuan and Xiao, Yang and Zhao, Yongle and Feng, Ziyong and Wu, Lan and Qin, Bin and Zhang, Ming and Zhang, Debing and Fu, Ying},
  booktitle={ICCVW},
  year={2021},
}


@inproceedings{deng2020subcenter,
  title={Sub-center ArcFace: Boosting Face Recognition by Large-scale Noisy Web Faces},
  author={Deng, Jiankang and Guo, Jia and Liu, Tongliang and Gong, Mingming and Zafeiriou, Stefanos},
  booktitle={Proceedings of the IEEE Conference on European Conference on Computer Vision},
  year={2020}
}

@inproceedings{Deng2020CVPR,
title = {RetinaFace: Single-Shot Multi-Level Face Localisation in the Wild},
author = {Deng, Jiankang and Guo, Jia and Ververas, Evangelos and Kotsia, Irene and Zafeiriou, Stefanos},
booktitle = {CVPR},
year = {2020}
}

@inproceedings{guo2018stacked,
  title={Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment},
  author={Guo, Jia and Deng, Jiankang and Xue, Niannan and Zafeiriou, Stefanos},
  booktitle={BMVC},
  year={2018}
}

@article{deng2018menpo,
  title={The Menpo benchmark for multi-pose 2D and 3D facial landmark localisation and tracking},
  author={Deng, Jiankang and Roussos, Anastasios and Chrysos, Grigorios and Ververas, Evangelos and Kotsia, Irene and Shen, Jie and Zafeiriou, Stefanos},
  journal={IJCV},
  year={2018}
}

@inproceedings{deng2018arcface,
title={ArcFace: Additive Angular Margin Loss for Deep Face Recognition},
author={Deng, Jiankang and Guo, Jia and Niannan, Xue and Zafeiriou, Stefanos},
booktitle={CVPR},
year={2019}
}