fstalign

fstalign

• Visão geral
• Instalação
  • Dependências
  • Construir
  • Docker
• Documentação

Visão geral

fstalign é uma ferramenta para criar alinhamento entre duas sequências de tokens (aqui referido como "referência" e "hipótese"). Possui duas funções principais: Computando a taxa de erro de palavras (WER) e o alinhamento de referências formatadas por NLP com hipóteses de CTM.

Devido ao uso de algoritmos OpenFST e preguiçosos para o alinhamento baseado em texto, fstalign é eficiente para calcular o WER, além de fornecer flexibilidade significativa para diferentes recursos de medição e análise de erros.

Instalação

Dependências

Utilizamos submódulos Git para gerenciar dependências de terceiros. Inicialize e atualize os submódulos antes de prosseguir para as etapas principais de construção.

 git submodule update --init --recursive

Isso puxará as dependências atuais:

• Catch2 - para testes de unidade
• spdlog - para log
• CLI11 - Para construção da CLI
• CSV - para análise de entrada CTM e PNL
• JSONCPP - Para construção de saída JSON
• STRTK - Para vários utilitários de string

Além disso, temos dependências fora dos submódulos de terceiros:

• OpenFST - atualmente fornecido ao sistema Build, configurando a variável $ OpenFST_ROOT AIMBORAL ou durante o comando cmake via -DOPENFST_ROOT .

Construir

A estrutura de compilação atual é cmake. Instale o cmake seguindo as instruções aqui (https://cmake.org/install/).

Para construir o Fstalign, execute:

    mkdir build && cd build
    cmake .. -DOPENFST_ROOT="<path to OpenFST>" -DDYNAMIC_OPENFST=ON
    make

Nota: -DDYNAMIC_OPENFST=ON é necessário se o OpenFST no OPENFST_ROOT for compilado como bibliotecas compartilhadas. Caso contrário, as bibliotecas estáticas são assumidas.

Finalmente, os testes podem ser executados usando:

 make test

Docker

A imagem do Docker Fstalign está hospedada no Docker Hub e pode ser facilmente puxada e executada:

 docker pull revdotcom/fstalign
docker run --rm -it revdotcom/fstalign

Consulte https://hub.docker.com/r/revdotcom/fstalign/tags para que as versões/tags disponíveis sejam puxadas. Se você deseja executar a ferramenta nos arquivos locais, pode montar diretórios locais com o sinalizador -v do comando docker run .

De dentro do recipiente:

 /fstalign/build/fstalign --help

Para o desenvolvimento, você também pode construir a imagem do docker localmente usando:

 docker build . -t fstalign-dev

Documentação

Para obter mais informações sobre como usar fstalign consulte nossa documentação para obter mais detalhes.