利普格

这是我们在 InterSpeech 2024 上被选为口头报告的论文 LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition 的官方实现。

提议的方法

唇部Hyp

您可以从这里下载 LipHyp 数据！

准备环境

 pip install -r requirements.txt

训练 LipGER 模型

1.准备LLM检查点

首先使用以下方法准备检查点：

pip install huggingface_hub

python scripts/download.py --repo_id meta-llama/Llama-2-7b-chat-hf --token your_hf_token

python scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/meta-llama/Llama-2-7b-chat-hf

要查看所有可用的检查点，请运行：

python scripts/download.py | grep Llama-2

更多详细信息，您还可以参考此链接，您还可以在其中为其他模型准备其他检查点。具体来说，我们使用 TinyLlama 进行实验。

2. 下载唇动编码器的检查点

检查站位于此处。下载后，在这里更改检查点的路径。

3. 准备用于训练（和推理）的数据集

LipGER 期望所有训练、验证和测试文件采用sample_data.json 的格式。文件中的一个实例如下所示：

 {
        "Dataset": "dataset_name",
        "Uid": "unique_id",
        "Caption": "The ground truth transcription.",
        "Noisy_Wav": "path_to_noisy_wav",
        "Mouthroi": "path_to_mouth_roi_mp4",
        "Video": "path_to_video_mp4",
        "nhyps_base": [ list of N-best hypotheses ],
}

步骤 1：生成 N 个最佳假设

您需要将语音文件传递给经过训练的 ASR 模型，该模型能够生成 N 个最佳假设。我们在此存储库中提供了两种方法来帮助您实现这一目标。请随意使用其他方法。

使用 WavLM + ESPnet 生成 N 最佳假设的示例代码可以在此处找到。您可能需要编写一些代码来获取文件作为模型的输入。然而，for 循环只需要语音文件。如果您此时遇到困难，请提出问题。
使用 Whisper 生成 N 最佳假设的示例代码可以在此处找到。我们在耳语中更改了一些代码，可以在此处找到。如果您使用pip install whisper安装 Whisper，然后从data文件夹运行 nhyps.py，那么您应该没问题！

请注意，对于这两种方法，列表中的第一个是最佳假设，其他是 N 个最佳假设（它们作为 JSON 的列表nhyps_base字段传递，并用于在后续步骤中构造提示）。

此外，所提供的方法仅使用语音作为输入。对于视听 N 最佳假设生成，我们使用了 Auto-AVSR。如果您需要代码方面的帮助，请提出问题！

第 2 步：从视频中获取作物嘴投资回报率

假设您的所有语音文件都有相应的视频，请按照以下步骤从视频中裁剪嘴部 ROI。

安装 RetinaFace 或 MediaPipe 跟踪器。
将crop_mouth_script.py中的dir_path或txt_file_path更新为mp4文件所在的根目录或包含所有mp4文件路径的文本文件路径。
从crop_mouth目录运行以下命令来裁剪嘴ROI：
```
 python crop_mouth_script.py
```
裁剪后的 mp4 文件将保存到与完整视频相同的位置，扩展名为“_crop.mp4”。

步骤3：将裁剪后的嘴部ROI转换为hdf5格式

更新convert_lip.py中json文件的路径（dataset_path），并运行以下命令：

 python covert_lip.py

这会将 mp4 ROI 转换为 hdf5，代码将在同一 json 文件中将 mp4 ROI 的路径更改为 hdf5 ROI。您可以通过更改default.yaml中的“检测器”来选择“mediapipe”和“retinaface”检测器

第4步：构建所需的JSON文件

获得 N 个最佳假设后，以所需的格式构建 JSON 文件。我们不提供这部分的具体代码，因为每个人的数据准备可能有所不同，但代码应该很简单。再次强调，如果您有任何疑问，请提出问题！

步骤 5：将 JSON 转换为 pt 文件

LipGER 训练脚本不采用 JSON 进行训练或评估。您需要将它们转换为 pt 文件。您可以运行convert_to_pt.py来实现这一点！根据您的意愿在第 27 行更改model_name ，并在第 58 行添加 JSON 的路径。

4. 微调 LipGER

要微调 LipGER，只需运行：

 sh finetune.sh

您需要手动设置data值（使用数据集名称）、 --train_path和--val_path （使用训练和有效 .pt 文件的绝对路径）。

LipGER 推论

为了进行推理，首先更改 lipger.py 中的相应路径（ exp_path和checkpoint_dir ），然后运行（使用适当的测试数据路径参数）：

 sh infer.sh

？致谢

裁剪嘴巴 ROI 的代码受到 Visual_Speech_Recognition_for_Multiple_Languages 的启发。

我们的 LipGER 代码受到 RobustGER 的启发。如果您发现我们的论文或代码有用，也请引用他们的论文。

？引文

 @inproceedings{ghosh23b_interspeech,
  author={Sreyan Ghosh and Sonal Kumar and Ashish Seth and Purva Chiniya and Utkarsh Tyagi and Ramani Duraiswami and Dinesh Manocha},
  title={{LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition}},
  year=2024,
  booktitle={Proc. INTERSPEECH 2024},
}

展开

附加信息