ctc принудительный выравниватель
v0.2
Пожалуйста, поставьте звездочку проекту на github (см. верхний правый угол), если вы цените мой вклад в сообщество!
Этот пакет Python предоставляет эффективный способ принудительного выравнивания текста и звука с использованием предварительно обученных моделей Hugging Face. Он использует возможности моделей Wav2Vec2, HuBERT и MMS для точного выравнивания, что делает его мощным инструментом для создания речевых корпусов.
pip install git+https://github.com/MahmoudAshraf97/ctc-forced-aligner.gitctc-forced-aligner --audio_path " path/to/audio.wav " --text_path " path/to/text.txt " --language " eng " --romanize| Аргумент | Описание | По умолчанию |
|---|---|---|
--audio_path | Путь к аудиофайлу | Необходимый |
--text_path | Путь к текстовому файлу | Необходимый |
--language | Язык в коде ISO 639-3 | Необходимый |
--romanize | Включите латинизацию для нелатинских сценариев или для многоязычных моделей независимо от языка, что требуется при использовании модели по умолчанию. | ЛОЖЬ |
--split_size | Степень детализации выравнивания: «предложение», «слово» или «символ». | "слово" |
--star_frequency | Частота использования токена | "края" |
--merge_threshold | Порог объединения для объединения сегментов | 0,00 |
--alignment_model | Название модели выравнивания | МахмудАшраф/mms-300m-1130-принудительный выравниватель |
--compute_dtype | Вычислить dtype для вывода | "поплавок32" |
--batch_size | Размер пакета для вывода | 4 |
--window_size | Размер окна в секундах для фрагментации звука | 30 |
--context_size | Перекрытие между фрагментами в секундах | 2 |
--attn_implementation | Реализация внимания | "жаждущий" |
--device | Устройство для вывода: «cuda» или «cpu». | «cuda», если доступно, иначе «процессор» |
# Align an English audio file with the text file
ctc-forced-aligner --audio_path " english_audio.wav " --text_path " english_text.txt " --language " eng " --romanize
# Align a Russian audio file with romanized text
ctc-forced-aligner --audio_path " russian_audio.wav " --text_path " russian_text.txt " --language " rus " --romanize
# Align on a sentence level
ctc-forced-aligner --audio_path " audio.wav " --text_path " text.txt " --language " eng " --split_size " sentence " --romanize
# Align using a model with native vocabulary
ctc-forced-aligner --audio_path " audio.wav " --text_path " text.txt " --language " ara " --alignment_model " jonatasgrosman/wav2vec2-large-xlsr-53-arabic " import torch
from ctc_forced_aligner import (
load_audio ,
load_alignment_model ,
generate_emissions ,
preprocess_text ,
get_alignments ,
get_spans ,
postprocess_results ,
)
audio_path = "your/audio/path"
text_path = "your/text/path"
language = "iso" # ISO-639-3 Language code
device = "cuda" if torch . cuda . is_available () else "cpu"
batch_size = 16
alignment_model , alignment_tokenizer = load_alignment_model (
device ,
dtype = torch . float16 if device == "cuda" else torch . float32 ,
)
audio_waveform = load_audio ( audio_path , alignment_model . dtype , alignment_model . device )
with open ( text_path , "r" ) as f :
lines = f . readlines ()
text = "" . join ( line for line in lines ). replace ( " n " , " " ). strip ()
emissions , stride = generate_emissions (
alignment_model , audio_waveform , batch_size = batch_size
)
tokens_starred , text_starred = preprocess_text (
text ,
romanize = True ,
language = language ,
)
segments , scores , blank_token = get_alignments (
emissions ,
tokens_starred ,
alignment_tokenizer ,
)
spans = get_spans ( tokens_starred , segments , blank_token )
word_timestamps = postprocess_results ( text_starred , spans , stride , scores )Результаты выравнивания будут сохранены в файл, содержащий следующую информацию в формате JSON:
text : Выровненный текст.segments : список сегментов, каждый из которых содержит время начала и окончания соответствующего текстового сегмента.{
"text" : " This is a sample text to be aligned with the audio. " ,
"segments" : [
{
"start" : 0.000 ,
"end" : 1.234 ,
"text" : " This "
},
{
"start" : 1.234 ,
"end" : 2.567 ,
"text" : " is "
},
{
"start" : 2.567 ,
"end" : 3.890 ,
"text" : " a "
},
{
"start" : 3.890 ,
"end" : 5.213 ,
"text" : " sample "
},
{
"start" : 5.213 ,
"end" : 6.536 ,
"text" : " text "
},
{
"start" : 6.536 ,
"end" : 7.859 ,
"text" : " to "
},
{
"start" : 7.859 ,
"end" : 9.182 ,
"text" : " be "
},
{
"start" : 9.182 ,
"end" : 10.405 ,
"text" : " aligned "
},
{
"start" : 10.405 ,
"end" : 11.728 ,
"text" : " with "
},
{
"start" : 11.728 ,
"end" : 13.051 ,
"text" : " the "
},
{
"start" : 13.051 ,
"end" : 14.374 ,
"text" : " audio. "
}
]
}Вклады приветствуются! Пожалуйста, не стесняйтесь открыть проблему или отправить запрос на включение.
Этот проект лицензируется по лицензии BSD. Обратите внимание, что модель по умолчанию имеет лицензию CC-BY-NC 4.0, поэтому обязательно используйте другую модель для коммерческого использования.
Этот проект основан на работе команды FAIR MMS.
