ctc 強制アライナーダウンロード - ctc 強制アライナーソースコードのダウンロード

ctc強制アライナー

その他のソースコード

v0.2

ダウンロード

ハグフェイス CTC モデルによる強制位置合わせ

コミュニティへの私の貢献に感謝する場合は、github でプロジェクトにスターを付けてください (右上隅を参照)。

この Python パッケージは、Hugging Face の事前トレーニング済みモデルを使用してテキストとオーディオ間の強制位置合わせを実行する効率的な方法を提供します。 Wav2Vec2、HuBERT、MMS モデルの力を利用して正確な位置合わせを行い、音声コーパスを作成するための強力なツールとなります。

特徴

メモリ使用量が少なくとも 5 倍削減:実装が改善され、TorchAudio 強制アライメント API よりもはるかに少ないメモリ使用量になりました。
幅広い言語サポート:英語、アラビア語、ロシア語、ドイツ語、その他 1126 言語を含む複数の言語に対応しています。
整列粒度の柔軟性:文、単語、または文字レベルで整列を選択します。
カスタマイズ可能な配置パラメーター: トークンの挿入頻度、セグメント結合の結合しきい値などを制御します。
Hugging Face のモデルとの統合:事前トレーニングされた Wav2Vec2、HuBERT、および MMS モデルの力を活用して、正確な位置合わせを実現します。
GPU アクセラレーション: GPU を利用して推論を高速化します。
JSON 形式での出力:分析と統合を容易にするため、明確で構造化されたアライメント結果が提供されます。

インストール

pip install git+https://github.com/MahmoudAshraf97/ctc-forced-aligner.git

使用法

ctc-forced-aligner --audio_path " path/to/audio.wav " --text_path " path/to/text.txt " --language " eng " --romanize

端末の使用方法

引数

口論	説明	デフォルト
`--audio_path`	音声ファイルへのパス	必須
`--text_path`	テキストファイルへのパス	必須
`--language`	ISO 639-3 コードの言語	必須
`--romanize`	言語に関係なく、非ラテン文字または多言語モデルのローマ字化を有効にします。デフォルトモデルを使用する場合に必要です。	間違い
`--split_size`	アライメント粒度: "sentence"、"word"、または "char"	"言葉"
`--star_frequency`	トークンの頻度: 「セグメント」または「エッジ」	「エッジ」
`--merge_threshold`	セグメント結合の結合しきい値	0.00
`--alignment_model`	アライメントモデルの名前	マフムードアシュラフ/mms-300m-1130-forced-aligner
`--compute_dtype`	推論のために dtype を計算する	「フロート32」
`--batch_size`	推論のバッチサイズ	4
`--window_size`	オーディオチャンク化のウィンドウサイズ（秒単位）	30
`--context_size`	チャンク間のオーバーラップ (秒単位)	2
`--attn_implementation`	注意の実施	"熱心な"
`--device`	推論に使用するデバイス: 「cuda」または「cpu」	利用可能な場合は「cuda」、それ以外の場合は「cpu」

例

 # Align an English audio file with the text file
ctc-forced-aligner --audio_path " english_audio.wav " --text_path " english_text.txt " --language " eng " --romanize

# Align a Russian audio file with romanized text
ctc-forced-aligner --audio_path " russian_audio.wav " --text_path " russian_text.txt " --language " rus " --romanize

# Align on a sentence level
ctc-forced-aligner --audio_path " audio.wav " --text_path " text.txt " --language " eng " --split_size " sentence " --romanize

# Align using a model with native vocabulary
ctc-forced-aligner --audio_path " audio.wav " --text_path " text.txt " --language " ara " --alignment_model " jonatasgrosman/wav2vec2-large-xlsr-53-arabic "

Pythonの使用法

 import torch
from ctc_forced_aligner import (
    load_audio ,
    load_alignment_model ,
    generate_emissions ,
    preprocess_text ,
    get_alignments ,
    get_spans ,
    postprocess_results ,
)

audio_path = "your/audio/path"
text_path = "your/text/path"
language = "iso" # ISO-639-3 Language code
device = "cuda" if torch . cuda . is_available () else "cpu"
batch_size = 16


alignment_model , alignment_tokenizer = load_alignment_model (
    device ,
    dtype = torch . float16 if device == "cuda" else torch . float32 ,
)

audio_waveform = load_audio ( audio_path , alignment_model . dtype , alignment_model . device )


with open ( text_path , "r" ) as f :
    lines = f . readlines ()
text = "" . join ( line for line in lines ). replace ( " n " , " " ). strip ()

emissions , stride = generate_emissions (
    alignment_model , audio_waveform , batch_size = batch_size
)

tokens_starred , text_starred = preprocess_text (
    text ,
    romanize = True ,
    language = language ,
)

segments , scores , blank_token = get_alignments (
    emissions ,
    tokens_starred ,
    alignment_tokenizer ,
)

spans = get_spans ( tokens_starred , segments , blank_token )

word_timestamps = postprocess_results ( text_starred , spans , stride , scores )

出力

アライメント結果は、次の情報を含むファイルに JSON 形式で保存されます。

text :整列されたテキスト。
segments :セグメントのリスト。各セグメントには、対応するテキストセグメントの開始時刻と終了時刻が含まれます。

JSON

{
  "text" : " This is a sample text to be aligned with the audio. " ,
  "segments" : [
    {
      "start" : 0.000 ,
      "end" : 1.234 ,
      "text" : " This "
    },
    {
      "start" : 1.234 ,
      "end" : 2.567 ,
      "text" : " is "
    },
    {
      "start" : 2.567 ,
      "end" : 3.890 ,
      "text" : " a "
    },
    {
      "start" : 3.890 ,
      "end" : 5.213 ,
      "text" : " sample "
    },
    {
      "start" : 5.213 ,
      "end" : 6.536 ,
      "text" : " text "
    },
    {
      "start" : 6.536 ,
      "end" : 7.859 ,
      "text" : " to "
    },
    {
      "start" : 7.859 ,
      "end" : 9.182 ,
      "text" : " be "
    },
    {
      "start" : 9.182 ,
      "end" : 10.405 ,
      "text" : " aligned "
    },
    {
      "start" : 10.405 ,
      "end" : 11.728 ,
      "text" : " with "
    },
    {
      "start" : 11.728 ,
      "end" : 13.051 ,
      "text" : " the "
    },
    {
      "start" : 13.051 ,
      "end" : 14.374 ,
      "text" : " audio. "
    }
  ]
}