LipGER

LipGER

Il s'agit de l'implémentation officielle de notre article LipGER : Correction d'erreurs génératives visuellement conditionnées pour une reconnaissance vocale automatique robuste à InterSpeech 2024 qui est sélectionné pour une présentation orale .

LipHyp

Vous pouvez télécharger les données LipHyp à partir d'ici !

Préparer l'environnement

 pip install -r requirements.txt

Entraînement du modèle LipGER

1. Préparez le point de contrôle LLM

Préparez d’abord les points de contrôle en utilisant :

pip install huggingface_hub

python scripts/download.py --repo_id meta-llama/Llama-2-7b-chat-hf --token your_hf_token

python scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-chat-hf

Pour voir tous les points de contrôle disponibles, exécutez :

python scripts/download.py | grep Llama-2

Pour plus de détails, vous pouvez également vous référer à ce lien, où vous pourrez également préparer d'autres points de contrôle pour d'autres modèles. Plus précisément, nous utilisons TinyLlama pour nos expériences.

2. Téléchargez le point de contrôle du Lip Motion Encoder

Le point de contrôle est disponible ici. Après le téléchargement, modifiez le chemin du point de contrôle ici.

3. Préparer l'ensemble de données pour la formation (et l'inférence)

LipGER s'attend à ce que tous les fichiers train, val et test soient au format sample_data.json. Une instance dans le fichier ressemble à :

 {
        "Dataset": "dataset_name",
        "Uid": "unique_id",
        "Caption": "The ground truth transcription.",
        "Noisy_Wav": "path_to_noisy_wav",
        "Mouthroi": "path_to_mouth_roi_mp4",
        "Video": "path_to_video_mp4",
        "nhyps_base": [ list of N-best hypotheses ],
}

Étape 1 : Générer les N meilleures hypothèses

Vous devez transmettre les fichiers vocaux via un modèle ASR formé capable de générer les N meilleures hypothèses. Nous proposons 2 façons dans ce référentiel pour vous aider à y parvenir. N'hésitez pas à utiliser d'autres méthodes.

• Un exemple de code pour la génération des N meilleures hypothèses à l’aide de WavLM + ESPnet peut être trouvé ici. Vous devrez peut-être écrire un peu de code pour obtenir vos fichiers en entrée du modèle. Cependant, la boucle for attend uniquement les fichiers vocaux. Soulevez un problème si vous rencontrez des difficultés à ce stade.
• Un exemple de code pour la génération des N meilleures hypothèses à l’aide de Whisper peut être trouvé ici. Nous avons modifié du code à voix basse qui peut être trouvé ici. Si vous installez Whisper à l'aide pip install whisper , puis exécutez nhyps.py à partir du dossier data , tout devrait bien se passer !

Notez que pour les deux méthodes, la première de la liste est la meilleure hypothèse et les autres sont les N meilleures hypothèses (elles sont transmises sous forme de champ nhyps_base de liste du JSON et utilisées pour construire une invite dans les étapes suivantes).

De plus, les méthodes fournies utilisent uniquement la parole comme entrée. Pour la génération des N-meilleures hypothèses audiovisuelles, nous avons utilisé Auto-AVSR. Si vous avez besoin d'aide avec le code, veuillez signaler un problème !

Étape 2 : Recadrer le retour sur investissement de Mouth à partir de vidéos

En supposant que vous disposez des vidéos correspondantes pour tous vos fichiers vocaux, suivez ces étapes pour recadrer le retour sur investissement de la bouche à partir des vidéos.

• Installez le tracker RetinaFace ou MediaPipe.
• Mettez à jour le chemin dir_path ou txt_file_path dans crop_mouth_script.py vers le répertoire racine où existent les fichiers mp4 ou le chemin du fichier texte qui contient tous les chemins d'accès aux fichiers mp4.
• Exécutez la commande suivante à partir du répertoire crop_mouth pour recadrer le retour sur investissement de Mouth :

   python crop_mouth_script.py
  

  Les fichiers mp4 recadrés seront enregistrés au même endroit que celui de la vidéo complète avec l'extension "_crop.mp4".

Étape 3 : Convertissez le retour sur investissement de la bouche recadrée au format hdf5

• Mettez à jour le chemin d'accès au fichier json (dataset_path) dans convert_lip.py et exécutez la commande suivante :

 python covert_lip.py

Cela convertira le ROI mp4 en hdf5, le code changera le chemin du ROI mp4 en hdf5 ROI dans le même fichier json. Vous pouvez choisir parmi les détecteurs "mediapipe" et "retinaface" en modifiant le "détecteur" dans default.yaml

Étape 4 : Construisez le fichier JSON requis

Une fois que vous avez les N meilleures hypothèses, construisez le fichier JSON au format requis. Nous ne fournissons pas de code spécifique pour cette partie car la préparation des données peut différer pour chacun, mais le code doit être simple. Encore une fois, soulevez un problème si vous avez des doutes !

Étape 5 : Convertir le JSON en fichier pt

Les scripts de formation LipGER n'acceptent pas JSON pour la formation ou l'évaluation. Vous devez les convertir en fichier pt. Vous pouvez exécuter convert_to_pt.py pour y parvenir ! Modifiez model_name selon votre souhait à la ligne 27 et ajoutez le chemin vers votre JSON à la ligne 58.

4. Affiner LipGER

Pour affiner LipGER, exécutez simplement :

 sh finetune.sh

où vous devez définir manuellement les valeurs pour data (avec le nom de l'ensemble de données), --train_path et --val_path (avec des chemins absolus à entraîner et des fichiers .pt valides).

Inférence LipGER

À des fins d'inférence, modifiez d'abord les chemins respectifs dans lipger.py ( exp_path et checkpoint_dir ), puis exécutez (avec l'argument de chemin de données de test approprié) :

 sh infer.sh

? Reconnaissance

Le code pour recadrer le retour sur investissement de la bouche est inspiré de Visual_Speech_Recognition_for_Multiple_Languages.

Notre code pour LipGER est inspiré de RobustGER. Veuillez également citer leur article si vous trouvez notre article ou notre code utile.

? Citation

 @inproceedings{ghosh23b_interspeech,
  author={Sreyan Ghosh and Sonal Kumar and Ashish Seth and Purva Chiniya and Utkarsh Tyagi and Ramani Duraiswami and Dinesh Manocha},
  title={{LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition}},
  year=2024,
  booktitle={Proc. INTERSPEECH 2024},
}