ليبجير

ليبجير

هذا هو التنفيذ الرسمي لمقالنا LipGER: تصحيح الأخطاء التوليدي المكيف بصريًا للتعرف القوي على الكلام تلقائيًا في InterSpeech 2024 والذي تم اختياره للعرض الشفهي .

LipHyp

يمكنك تنزيل بيانات LipHyp من هنا!

تحضير البيئة

 pip install -r requirements.txt

تدريب نموذج LipGER

1. قم بإعداد نقطة تفتيش LLM

قم أولاً بإعداد نقاط التفتيش باستخدام:

pip install huggingface_hub

python scripts/download.py --repo_id meta-llama/Llama-2-7b-chat-hf --token your_hf_token

python scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-chat-hf

لرؤية كافة نقاط التفتيش المتاحة، قم بتشغيل:

python scripts/download.py | grep Llama-2

لمزيد من التفاصيل، يمكنك أيضًا الرجوع إلى هذا الرابط، حيث يمكنك أيضًا إعداد نقاط فحص أخرى لنماذج أخرى. على وجه التحديد، نستخدم TinyLlama في تجاربنا.

2. قم بتنزيل نقطة التفتيش الخاصة بـ Lip Motion Encoder

نقطة التفتيش متاحة هنا. بعد التحميل قم بتغيير مسار نقطة التفتيش هنا.

3. إعداد مجموعة البيانات للتدريب (والاستدلال)

تتوقع شركة LipGER أن يكون كل ملف التدريب والقيمة والاختبار بتنسيق Sample_data.json. يبدو مثيل في الملف كما يلي:

 {
        "Dataset": "dataset_name",
        "Uid": "unique_id",
        "Caption": "The ground truth transcription.",
        "Noisy_Wav": "path_to_noisy_wav",
        "Mouthroi": "path_to_mouth_roi_mp4",
        "Video": "path_to_video_mp4",
        "nhyps_base": [ list of N-best hypotheses ],
}

الخطوة 1: قم بإنشاء أفضل فرضيات N

تحتاج إلى تمرير ملفات الكلام من خلال نموذج ASR مُدرب قادر على إنشاء فرضيات N-best. نحن نقدم طريقتين في هذا الريبو لمساعدتك في تحقيق ذلك. لا تتردد في استخدام أساليب أخرى.

• يمكن العثور على نموذج التعليمات البرمجية لإنشاء فرضيات N-best باستخدام WavLM + ESPnet هنا. قد تحتاج إلى كتابة القليل من التعليمات البرمجية للحصول على ملفاتك كمدخل للنموذج. ومع ذلك، فإن for-loop تتوقع فقط ملفات الكلام. اطرح مشكلة إذا كنت تواجه صعوبات في هذه المرحلة.
• يمكن العثور على نموذج التعليمات البرمجية لإنشاء فرضيات N-best باستخدام Whisper هنا. لقد قمنا بتغيير بعض التعليمات البرمجية في Whisper والتي يمكن العثور عليها هنا. إذا قمت بتثبيت Whisper باستخدام pip install whisper ثم قمت بتشغيل nhyps.py من مجلد data ، فيجب أن تكون جيدًا!

لاحظ أنه بالنسبة لكلتا الطريقتين، فإن الأولى في القائمة هي أفضل فرضية والأخرى هي فرضيات N-best (يتم تمريرها كحقل قائمة nhyps_base لـ JSON وتستخدم لإنشاء موجه في الخطوات التالية).

بالإضافة إلى ذلك، تستخدم الأساليب المتوفرة الكلام فقط كمدخل. من أجل توليد أفضل فرضيات N السمعية والبصرية، استخدمنا Auto-AVSR. إذا كنت بحاجة إلى مساعدة بشأن الكود، يرجى إثارة مشكلة!

الخطوة 2: قص عائد استثمار الفم من مقاطع الفيديو

بافتراض أن لديك مقاطع فيديو مقابلة لجميع ملفات الكلام الخاصة بك، اتبع هذه الخطوات لاقتصاص عائد الاستثمار الفموي من مقاطع الفيديو.

• قم بتثبيت أداة تعقب RetinaFace أو MediaPipe.
• قم بتحديث dir_path أو txt_file_path في Crop_mouth_script.py إلى الدليل الجذر حيث توجد ملفات mp4 أو مسار الملف النصي الذي يحتوي على جميع المسارات إلى ملفات mp4 lsited.
• قم بتشغيل الأمر التالي من دليل Crop_mouth لاقتصاص عائد استثمار الفم:

   python crop_mouth_script.py
  

  سيتم حفظ ملفات mp4 التي تم اقتصاصها في نفس مكان حفظ الفيديو الكامل بامتداد "_crop.mp4".

الخطوة 3: تحويل عائد استثمار الفم المقصوص إلى تنسيق hdf5

• قم بتحديث المسار إلى ملف json (dataset_path) في converter_lip.py، وقم بتشغيل الأمر التالي:

 python covert_lip.py

سيؤدي هذا إلى تحويل عائد استثمار mp4 إلى hdf5، وسيغير الكود مسار عائد استثمار mp4 إلى عائد استثمار hdf5 في نفس ملف json. يمكنك الاختيار من بين كاشفات "mediapipe" و"retinaface" عن طريق تغيير "الكاشف" بشكل افتراضي.yaml

الخطوة 4: إنشاء ملف JSON المطلوب

بعد حصولك على فرضيات N-best، قم بإنشاء ملف JSON بالتنسيق المطلوب. لا نوفر كودًا محددًا لهذا الجزء، حيث قد يختلف إعداد البيانات من شخص لآخر، ولكن يجب أن يكون الكود بسيطًا. مرة أخرى، اطرح مشكلة إذا كانت لديك أي شكوك!

الخطوة 5: تحويل JSON إلى ملف pt

لا تستخدم نصوص تدريب LipGER صيغة JSON للتدريب أو التقييم. تحتاج إلى تحويلها إلى ملف pt. يمكنك تشغيل Convert_to_pt.py لتحقيق ذلك! قم بتغيير model_name وفقًا لرغبتك في السطر 27 وأضف المسار إلى JSON الخاص بك في السطر 58.

4. ضبط الشفاه بشكل دقيق

لضبط LipGER، فقط قم بتشغيل:

 sh finetune.sh

حيث تحتاج إلى تعيين قيم data يدويًا (مع اسم مجموعة البيانات)، --train_path و-- --val_path (مع المسارات المطلقة للتدريب وملفات .pt الصالحة).

استنتاج ليبجر

للاستدلال، قم أولاً بتغيير المسارات المعنية في lipger.py ( exp_path و checkpoint_dir )، ثم قم بتشغيل (باستخدام وسيطة مسار بيانات الاختبار المناسبة):

 sh infer.sh

؟ شكر وتقدير

كود قص عائد استثمار الفم مستوحى من Visual_Speech_Recognition_for_Multiple_Languages.

كودنا الخاص بـ LipGER مستوحى من RobustGER. يرجى الاستشهاد بأوراقهم أيضًا إذا وجدت ورقتنا أو الكود الخاص بنا مفيدًا.

؟ الاقتباس

 @inproceedings{ghosh23b_interspeech,
  author={Sreyan Ghosh and Sonal Kumar and Ashish Seth and Purva Chiniya and Utkarsh Tyagi and Ramani Duraiswami and Dinesh Manocha},
  title={{LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition}},
  year=2024,
  booktitle={Proc. INTERSPEECH 2024},
}