fstalign

fSalign

• Descripción general
• Instalación
  • Dependencias
  • Construir
  • Estibador
• Documentación

Descripción general

fstalign es una herramienta para crear una alineación entre dos secuencias de tokens (aquí referidos como "referencia" e "hipótesis"). Tiene dos funciones clave: la tasa de error de palabras calculador (WER) y la alineación de referencias formatadas en PNL con hipótesis CTM.

Debido al uso de algoritmos OpenFST y perezosos para la alineación basada en texto, fstalign es eficiente para calcular WER, al tiempo que proporciona una flexibilidad significativa para diferentes características de medición y análisis de errores.

Instalación

Dependencias

Utilizamos submódulos Git para administrar dependencias de terceros. Inicialice y actualice los submódulos antes de continuar con los pasos de compilación principales.

 git submodule update --init --recursive

Esto extraerá las dependencias actuales:

• Catch2 - para pruebas unitarias
• spdlog - para registrar
• CLI11 - Para la construcción de CLI
• CSV - para el análisis de entrada CTM y NLP
• JSONCPP - Para la construcción de salida de JSON
• strtk - para varias utilidades de cadena

Además, tenemos dependencias fuera de los submódulos de terceros:

• OpenFST: actualmente proporcionado al sistema de compilación mediante la configuración de la variable de entorno $ openfst_root o durante el comando cmake a través de -DOPENFST_ROOT .

Construir

El marco de compilación actual es CMake. Instale cmake siguiendo las instrucciones aquí (https://cmake.org/install/).

Para construir fSalign, ejecute:

    mkdir build && cd build
    cmake .. -DOPENFST_ROOT="<path to OpenFST>" -DDYNAMIC_OPENFST=ON
    make

Nota: -DDYNAMIC_OPENFST=ON es necesario si OpenFST en OPENFST_ROOT se compila como bibliotecas compartidas. De lo contrario, se suponen bibliotecas estáticas.

Finalmente, las pruebas se pueden ejecutar usando:

 make test

Estibador

The fstalign docker image is hosted on Docker Hub and can be easily pulled and run:

 docker pull revdotcom/fstalign
docker run --rm -it revdotcom/fstalign

Consulte https://hub.docker.com/r/revdotcom/fstalign/tags para ver las versiones/etiquetas disponibles para tirar. Si desea ejecutar la herramienta en los archivos locales, puede montar directorios locales con el indicador -v del comando docker run .

Desde el interior del contenedor:

 /fstalign/build/fstalign --help

Para el desarrollo también puede construir la imagen de Docker localmente usando:

 docker build . -t fstalign-dev

Documentación

Para obtener más información sobre cómo usar fstalign consulte nuestra documentación para obtener más detalles.