ลิปเกอร์

ลิปเกอร์

นี่คือการดำเนินการอย่างเป็นทางการสำหรับรายงานของเรา LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition ที่ InterSpeech 2024 ซึ่งได้รับการเลือกสำหรับ การนำเสนอด้วยวาจา

ลิปHyp

คุณสามารถดาวน์โหลดข้อมูล LipHyp ได้จากที่นี่!

เตรียมสิ่งแวดล้อม

 pip install -r requirements.txt

อบรมโมเดล LipGER

1.เตรียมด่าน LLM

ขั้นแรกให้เตรียมจุดตรวจโดยใช้:

pip install huggingface_hub

python scripts/download.py --repo_id meta-llama/Llama-2-7b-chat-hf --token your_hf_token

python scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-chat-hf

หากต้องการดูจุดตรวจสอบที่มีอยู่ทั้งหมด ให้รัน:

python scripts/download.py | grep Llama-2

สำหรับรายละเอียดเพิ่มเติม คุณสามารถดูได้จากลิงก์นี้ ซึ่งคุณสามารถเตรียมจุดตรวจสอบอื่นๆ สำหรับรุ่นอื่นๆ ได้ด้วย โดยเฉพาะ เราใช้ TinyLlama สำหรับการทดลองของเรา

2. ดาวน์โหลดจุดตรวจสำหรับ Lip Motion Encoder

มีจุดตรวจอยู่ที่นี่ หลังจากดาวน์โหลดแล้วให้เปลี่ยนเส้นทางของด่านที่นี่

3. เตรียมชุดข้อมูลสำหรับการฝึกอบรม (และการอนุมาน)

LipGER คาดว่าไฟล์ train, val และ test ทั้งหมดจะอยู่ในรูปแบบ example_data.json อินสแตนซ์ในไฟล์ดูเหมือนว่า:

 {
        "Dataset": "dataset_name",
        "Uid": "unique_id",
        "Caption": "The ground truth transcription.",
        "Noisy_Wav": "path_to_noisy_wav",
        "Mouthroi": "path_to_mouth_roi_mp4",
        "Video": "path_to_video_mp4",
        "nhyps_base": [ list of N-best hypotheses ],
}

ขั้นตอนที่ 1: สร้างสมมติฐาน N ที่ดีที่สุด

คุณต้องส่งไฟล์คำพูดผ่านโมเดล ASR ที่ได้รับการฝึกอบรมซึ่งสามารถสร้างสมมติฐานที่ดีที่สุด N ได้ เรามี 2 วิธีใน Repo นี้เพื่อช่วยให้คุณบรรลุเป้าหมายนี้ อย่าลังเลที่จะใช้วิธีการอื่น

• โค้ดตัวอย่างสำหรับการสร้างสมมติฐาน N ที่ดีที่สุดโดยใช้ WavLM + ESPnet สามารถพบได้ที่นี่ คุณอาจต้องเขียนโค้ดเล็กน้อยเพื่อรับไฟล์ของคุณเป็นอินพุตของโมเดล อย่างไรก็ตาม for-loop คาดหวังเพียงไฟล์เสียงพูด แจ้งปัญหาหากคุณประสบปัญหาในตอนนี้
• โค้ดตัวอย่างสำหรับการสร้างสมมติฐาน N ที่ดีที่สุดโดยใช้ Whisper สามารถพบได้ที่นี่ เราเปลี่ยนรหัสบางส่วนเป็นการกระซิบซึ่งสามารถพบได้ที่นี่ หากคุณติดตั้งกระซิบโดยใช้ pip install whisper แล้วรัน nhyps.py จากโฟลเดอร์ data คุณควรจะดี!

โปรดทราบว่าสำหรับทั้งสองวิธี วิธีแรกในรายการคือสมมติฐานที่ดีที่สุด และวิธีอื่นๆ เป็นสมมติฐานที่ดีที่สุด N (จะถูกส่งผ่านเป็นรายการฟิลด์ nhyps_base ของ JSON และใช้ในการสร้างพร้อมท์ในขั้นตอนถัดไป)

นอกจากนี้ วิธีการที่ให้มาจะใช้เฉพาะคำพูดเป็นอินพุตเท่านั้น สำหรับการสร้างสมมติฐานที่ดีที่สุดด้านภาพและเสียง เราใช้ Auto-AVSR หากคุณต้องการความช่วยเหลือเกี่ยวกับโค้ด โปรดแจ้งปัญหา!

ขั้นตอนที่ 2: Crop Mouth ROI จากวิดีโอ

สมมติว่าคุณมีวิดีโอที่เกี่ยวข้องสำหรับไฟล์คำพูดทั้งหมดของคุณ ให้ทำตามขั้นตอนเหล่านี้เพื่อครอบตัด ROI จากวิดีโอ

• ติดตั้งตัวติดตาม RetinaFace หรือ MediaPipe
• อัปเดต dir_path หรือ txt_file_path ใน crop_mouth_script.py ไปยังไดเร็กทอรีรากที่มีไฟล์ mp4 อยู่หรือพาธของไฟล์ข้อความซึ่งมีพาธทั้งหมดไปยังไฟล์ mp4 ที่ถูก lsited
• รันคำสั่งต่อไปนี้จากไดเรกทอรี crop_mouth ถึง ROI ของครอบตัดปาก:

   python crop_mouth_script.py
  

  ไฟล์ mp4 ที่ครอบตัดจะถูกบันทึกในตำแหน่งเดียวกับวิดีโอตัวเต็มที่มีนามสกุล "_crop.mp4"

ขั้นตอนที่ 3: แปลง ROI ปากที่ครอบตัดเป็นรูปแบบ hdf5

• อัพเดตพาธไปยังไฟล์ json (dataset_path) ใน Convert_lip.py และรันคำสั่งต่อไปนี้:

 python covert_lip.py

สิ่งนี้จะแปลง mp4 ROI เป็น hdf5 รหัสจะเปลี่ยนเส้นทางของ mp4 ROI เป็น hdf5 ROI ในไฟล์ json เดียวกัน คุณสามารถเลือกจากเครื่องตรวจจับ "mediapipe" และ "retinaface" ได้โดยการเปลี่ยน "เครื่องตรวจจับ" ใน default.yaml

ขั้นตอนที่ 4: สร้างไฟล์ JSON ที่จำเป็น

หลังจากที่คุณมีสมมติฐานที่ดีที่สุด N แล้ว ให้สร้างไฟล์ JSON ในรูปแบบที่ต้องการ เราไม่ได้ให้รหัสเฉพาะสำหรับส่วนนี้เนื่องจากการจัดเตรียมข้อมูลอาจแตกต่างกันสำหรับทุกคน แต่รหัสควรเรียบง่าย โปรดแจ้งปัญหาอีกครั้งหากคุณมีข้อสงสัย!

ขั้นตอนที่ 5: แปลง JSON เป็นไฟล์ pt

สคริปต์การฝึกอบรมของ LipGER ไม่ใช้ JSON ในการฝึกอบรมหรือการประเมินผล คุณต้องแปลงให้เป็นไฟล์ pt คุณสามารถเรียกใช้ Convert_to_pt.py เพื่อให้บรรลุเป้าหมายนี้ได้! เปลี่ยน model_name ตามความต้องการของคุณในบรรทัด 27 และเพิ่มเส้นทางไปยัง JSON ของคุณในบรรทัด 58

4. ปรับแต่ง LipGER

หากต้องการปรับแต่ง LipGER เพียงเรียกใช้:

 sh finetune.sh

โดยที่คุณต้องตั้งค่า data ด้วยตนเอง (ด้วยชื่อชุดข้อมูล), --train_path และ --val_path (พร้อมเส้นทางที่แน่นอนในการฝึกอบรมและไฟล์ .pt ที่ถูกต้อง)

การอนุมานของลิปเกอร์

สำหรับการอนุมาน ขั้นแรกให้เปลี่ยนพาธตามลำดับใน lipger.py ( exp_path และ checkpoint_dir ) จากนั้นจึงรัน (ด้วยอาร์กิวเมนต์พาธข้อมูลทดสอบที่เหมาะสม):

 sh infer.sh

- รับทราบ

รหัสสำหรับ ROI ของครอบตัดปากได้รับแรงบันดาลใจจาก Visual_Speech_Recognition_for_Multiple_Languages

รหัสของเราสำหรับ LipGER ได้รับแรงบันดาลใจจาก RobustGER โปรดอ้างอิงรายงานของพวกเขาด้วยหากคุณพบว่าเอกสารหรือรหัสของเรามีประโยชน์

- การอ้างอิง

 @inproceedings{ghosh23b_interspeech,
  author={Sreyan Ghosh and Sonal Kumar and Ashish Seth and Purva Chiniya and Utkarsh Tyagi and Ramani Duraiswami and Dinesh Manocha},
  title={{LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition}},
  year=2024,
  booktitle={Proc. INTERSPEECH 2024},
}