bibirGER

bibirGER

Ini adalah implementasi resmi untuk makalah kami LipGER: Koreksi Kesalahan Generatif Berkondisi Visual untuk Pengenalan Ucapan Otomatis yang Kuat di InterSpeech 2024 yang dipilih untuk presentasi lisan .

LipHyp

Anda dapat mengunduh data LipHyp dari sini!

Mempersiapkan lingkungan

 pip install -r requirements.txt

Melatih model LipGER

1. Siapkan pos pemeriksaan LLM

Pertama siapkan pos pemeriksaan menggunakan:

pip install huggingface_hub

python scripts/download.py --repo_id meta-llama/Llama-2-7b-chat-hf --token your_hf_token

python scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-chat-hf

Untuk melihat semua pos pemeriksaan yang tersedia, jalankan:

python scripts/download.py | grep Llama-2

Untuk lebih jelasnya, Anda juga dapat merujuk ke tautan ini, di mana Anda juga dapat menyiapkan pos pemeriksaan lain untuk model lainnya. Secara khusus, kami menggunakan TinyLlama untuk eksperimen kami.

2. Unduh pos pemeriksaan untuk Lip Motion Encoder

Pos pemeriksaan tersedia di sini. Setelah mengunduh, ubah jalur pos pemeriksaan di sini.

3. Siapkan kumpulan data untuk pelatihan (dan inferensi)

LipGER mengharapkan semua file train, val, dan test berada dalam format sample_data.json. Sebuah contoh dalam file terlihat seperti:

 {
        "Dataset": "dataset_name",
        "Uid": "unique_id",
        "Caption": "The ground truth transcription.",
        "Noisy_Wav": "path_to_noisy_wav",
        "Mouthroi": "path_to_mouth_roi_mp4",
        "Video": "path_to_video_mp4",
        "nhyps_base": [ list of N-best hypotheses ],
}

Langkah 1: Hasilkan N hipotesis terbaik

Anda perlu meneruskan file ucapan melalui model ASR terlatih yang mampu menghasilkan N hipotesis terbaik. Kami menyediakan 2 cara dalam repo ini untuk membantu Anda mencapai hal ini. Jangan ragu untuk menggunakan metode lain.

• Contoh kode untuk pembuatan N hipotesis terbaik menggunakan WavLM + ESPnet dapat ditemukan di sini. Anda mungkin perlu menulis sedikit kode untuk mendapatkan file Anda sebagai masukan ke model. Namun, for-loop hanya mengharapkan file ucapan. Ajukan masalah jika Anda mengalami kesulitan saat ini.
• Contoh kode untuk pembuatan N hipotesis terbaik menggunakan Whisper dapat ditemukan di sini. Kami mengubah beberapa kode di bisikan yang dapat ditemukan di sini. Jika Anda menginstal Whisper menggunakan pip install whisper dan kemudian menjalankan nhyps.py dari folder data , Anda akan baik-baik saja!

Perhatikan bahwa untuk kedua metode, yang pertama dalam daftar adalah hipotesis terbaik dan yang lainnya adalah N hipotesis terbaik (mereka diteruskan sebagai bidang daftar nhyps_base di JSON dan digunakan untuk membuat prompt di langkah berikutnya).

Selain itu, metode yang disediakan hanya menggunakan ucapan sebagai masukan. Untuk menghasilkan hipotesis N-terbaik audio-visual, kami menggunakan Auto-AVSR. Jika Anda memerlukan bantuan dengan kode ini, silakan ajukan masalah!

Langkah 2: Pangkas ROI Mulut dari Video

Dengan asumsi Anda memiliki video yang sesuai untuk semua file ucapan Anda, ikuti langkah-langkah berikut untuk memotong ROI dari video tersebut.

• Instal pelacak RetinaFace atau MediaPipe.
• Perbarui dir_path atau txt_file_path di crop_mouth_script.py ke direktori root tempat file mp4 berada atau jalur file teks yang memiliki semua jalur ke file mp4 yang ada.
• Jalankan perintah berikut dari direktori crop_mouth untuk memotong ROI mulut:

   python crop_mouth_script.py
  

  File mp4 yang dipotong akan disimpan ke lokasi yang sama dengan video lengkap dengan ekstensi "_crop.mp4".

Langkah 3: Ubah ROI mulut yang dipotong ke format hdf5

• Perbarui jalur ke file json (dataset_path) di convert_lip.py, dan jalankan perintah berikut:

 python covert_lip.py

Ini akan mengubah ROI mp4 menjadi hdf5, kode akan mengubah jalur ROI mp4 menjadi hdf5 ROI dalam file json yang sama. Anda dapat memilih dari detektor "mediapipe" dan "retinaface" dengan mengubah "detektor" di default.yaml

Langkah 4: Buat file JSON yang diperlukan

Setelah Anda memiliki N hipotesis terbaik, buat file JSON dalam format yang diperlukan. Kami tidak menyediakan kode spesifik untuk bagian ini karena persiapan data mungkin berbeda untuk setiap orang, namun kodenya harus sederhana. Sekali lagi, ajukan masalah jika Anda ragu!

Langkah 5: Konversikan JSON ke file pt

Skrip pelatihan LipGER tidak menggunakan JSON untuk pelatihan atau evaluasi. Anda perlu mengonversinya menjadi file pt. Anda dapat menjalankan convert_to_pt.py untuk mencapai ini! Ubah model_name sesuai keinginan Anda di baris 27 dan tambahkan path ke JSON Anda di baris 58.

4. Sempurnakan LipGER

Untuk menyempurnakan LipGER, jalankan saja:

 sh finetune.sh

di mana Anda perlu mengatur nilai data secara manual (dengan nama kumpulan data), --train_path dan --val_path (dengan jalur absolut untuk melatih dan file .pt yang valid).

Inferensi LipGER

Untuk inferensi, pertama-tama ubah jalur masing-masing di lipger.py ( exp_path dan checkpoint_dir ), lalu jalankan (dengan argumen jalur data pengujian yang sesuai):

 sh infer.sh

? Pengakuan

Kode untuk memotong ROI mulut terinspirasi dari Visual_Speech_Recognition_for_Multiple_Languages.

Kode kami untuk LipGER terinspirasi dari RobustGER. Silakan kutip makalah mereka juga jika menurut Anda makalah atau kode kami berguna.

? Kutipan

 @inproceedings{ghosh23b_interspeech,
  author={Sreyan Ghosh and Sonal Kumar and Ashish Seth and Purva Chiniya and Utkarsh Tyagi and Ramani Duraiswami and Dinesh Manocha},
  title={{LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition}},
  year=2024,
  booktitle={Proc. INTERSPEECH 2024},
}