Descarga del alineador forzado ctc - Descarga del código fuente del alineador forzado ctc

alineador forzado ctc

Otro código fuente

v0.2

Descargar

Alineación forzada con modelos CTC de cara abrazada

¡Por favor, destaque el proyecto en github (ver esquina superior derecha) si aprecia mi contribución a la comunidad!

Este paquete de Python proporciona una manera eficiente de realizar una alineación forzada entre texto y audio utilizando los modelos previamente entrenados de Hugging Face. Aprovecha el poder de los modelos Wav2Vec2, HuBERT y MMS para una alineación precisa, lo que la convierte en una poderosa herramienta para crear corpus de voz.

Características

Al menos 5 veces menos uso de memoria: implementación mejorada para usar mucha menos memoria que la API de alineación forzada de TorchAudio.
Amplia gama de idiomas compatibles: funciona con varios idiomas, incluidos inglés, árabe, ruso, alemán y 1126 idiomas más.
Flexibilidad en la granularidad de la alineación: elija entre alinear a nivel de oración, palabra o carácter.
Parámetros de alineación personalizables: controle la frecuencia de inserción del token , el umbral de fusión para la fusión de segmentos y más.
Integración con los modelos de Hugging Face: aproveche el poder de los modelos Wav2Vec2, HuBERT y MMS previamente entrenados para una alineación precisa.
Aceleración de GPU: utilice su GPU para una inferencia más rápida.
Salida en formato JSON: proporciona resultados de alineación claros y estructurados para un fácil análisis e integración.

Instalación

pip install git+https://github.com/MahmoudAshraf97/ctc-forced-aligner.git

Uso

ctc-forced-aligner --audio_path " path/to/audio.wav " --text_path " path/to/text.txt " --language " eng " --romanize

Uso de terminales

Argumentos

Argumento	Descripción	Por defecto
`--audio_path`	Ruta al archivo de audio	Requerido
`--text_path`	Ruta al archivo de texto	Requerido
`--language`	Idioma en código ISO 639-3	Requerido
`--romanize`	Habilite la romanización para escrituras no latinas o para modelos multilingües independientemente del idioma, requerido cuando se usa el modelo predeterminado	FALSO
`--split_size`	Granularidad de alineación: "frase", "palabra" o "carácter"	"palabra"
`--star_frequency`	Frecuencia del token : "segmento" o "bordes"	"bordes"
`--merge_threshold`	Umbral de fusión para la fusión de segmentos	0.00
`--alignment_model`	Nombre del modelo de alineación	MahmoudAshraf/mms-300m-1130-alineador-forzado
`--compute_dtype`	Calcular tipo d para inferencia	"flotador32"
`--batch_size`	Tamaño de lote para inferencia	4
`--window_size`	Tamaño de ventana en segundos para fragmentación de audio	30
`--context_size`	Superposición entre fragmentos en segundos	2
`--attn_implementation`	Implementación de atención	"ansioso"
`--device`	Dispositivo a utilizar para la inferencia: "cuda" o "cpu"	"cuda" si está disponible, en caso contrario "cpu"

Ejemplos

 # Align an English audio file with the text file
ctc-forced-aligner --audio_path " english_audio.wav " --text_path " english_text.txt " --language " eng " --romanize

# Align a Russian audio file with romanized text
ctc-forced-aligner --audio_path " russian_audio.wav " --text_path " russian_text.txt " --language " rus " --romanize

# Align on a sentence level
ctc-forced-aligner --audio_path " audio.wav " --text_path " text.txt " --language " eng " --split_size " sentence " --romanize

# Align using a model with native vocabulary
ctc-forced-aligner --audio_path " audio.wav " --text_path " text.txt " --language " ara " --alignment_model " jonatasgrosman/wav2vec2-large-xlsr-53-arabic "

Uso de Python

 import torch
from ctc_forced_aligner import (
    load_audio ,
    load_alignment_model ,
    generate_emissions ,
    preprocess_text ,
    get_alignments ,
    get_spans ,
    postprocess_results ,
)

audio_path = "your/audio/path"
text_path = "your/text/path"
language = "iso" # ISO-639-3 Language code
device = "cuda" if torch . cuda . is_available () else "cpu"
batch_size = 16


alignment_model , alignment_tokenizer = load_alignment_model (
    device ,
    dtype = torch . float16 if device == "cuda" else torch . float32 ,
)

audio_waveform = load_audio ( audio_path , alignment_model . dtype , alignment_model . device )


with open ( text_path , "r" ) as f :
    lines = f . readlines ()
text = "" . join ( line for line in lines ). replace ( " n " , " " ). strip ()

emissions , stride = generate_emissions (
    alignment_model , audio_waveform , batch_size = batch_size
)

tokens_starred , text_starred = preprocess_text (
    text ,
    romanize = True ,
    language = language ,
)

segments , scores , blank_token = get_alignments (
    emissions ,
    tokens_starred ,
    alignment_tokenizer ,
)

spans = get_spans ( tokens_starred , segments , blank_token )

word_timestamps = postprocess_results ( text_starred , spans , stride , scores )

Producción

Los resultados de la alineación se guardarán en un archivo que contiene la siguiente información en formato JSON:

text : El texto alineado.
segments : una lista de segmentos, cada uno de los cuales contiene la hora de inicio y finalización del segmento de texto correspondiente.

JSON

{
  "text" : " This is a sample text to be aligned with the audio. " ,
  "segments" : [
    {
      "start" : 0.000 ,
      "end" : 1.234 ,
      "text" : " This "
    },
    {
      "start" : 1.234 ,
      "end" : 2.567 ,
      "text" : " is "
    },
    {
      "start" : 2.567 ,
      "end" : 3.890 ,
      "text" : " a "
    },
    {
      "start" : 3.890 ,
      "end" : 5.213 ,
      "text" : " sample "
    },
    {
      "start" : 5.213 ,
      "end" : 6.536 ,
      "text" : " text "
    },
    {
      "start" : 6.536 ,
      "end" : 7.859 ,
      "text" : " to "
    },
    {
      "start" : 7.859 ,
      "end" : 9.182 ,
      "text" : " be "
    },
    {
      "start" : 9.182 ,
      "end" : 10.405 ,
      "text" : " aligned "
    },
    {
      "start" : 10.405 ,
      "end" : 11.728 ,
      "text" : " with "
    },
    {
      "start" : 11.728 ,
      "end" : 13.051 ,
      "text" : " the "
    },
    {
      "start" : 13.051 ,
      "end" : 14.374 ,
      "text" : " audio. "
    }
  ]
}

Contribuyendo

¡Las contribuciones son bienvenidas! No dude en abrir un problema o enviar una solicitud de extracción.

Licencia

Este proyecto tiene la licencia BSD; tenga en cuenta que el modelo predeterminado tiene la licencia CC-BY-NC 4.0, así que asegúrese de utilizar un modelo diferente para uso comercial.