LiteFocus

ライトフォーカス

LiteFocus: 長いオーディオ合成のための加速された拡散推論
Zhenxiong Tan、Xinyin Ma、Gongfan Fang、Xinchao Wang
シンガポール国立大学ラーニング・アンド・ビジョン・ラボ

TL;DR (長すぎて読めませんでした)

LiteFocus は、拡散ベースの TTA モデルを高速化するために設計されたツールで、現在は基本モデル AudioLDM2 で実装されています。処理速度が 2 倍になり、音質が向上します。

設定

• 環境の準備 (オプション)

conda create -n litefocus python=3.10
conda activate litefocus

• 基本モデルのインストール

pip3 install git+https://github.com/haoheliu/AudioLDM2.git

使用法

基本的な使い方

from audioldm2 import text_to_audio, build_model
import scipy

+ from litefocus import inject_lite_focus, disable_lite_focus

model = build_model(model_name='audioldm2-full')

+ inject_lite_focus(model)

waveform = text_to_audio(
    latent_diffusion=model,
    duration=40,
    text='Musical constellations twinkling in the night sky, forming a cosmic melody.',
)

scipy.io.wavfile.write("out.wav", rate=16000, data=waveform)

LiteFocus を無効にする

 disable_lite_focus ( model )

構成

 config = {
    'same_frequency' : True ,
    'cross_frequency' : True ,
    'sparse_ratio' : 0.1
}

inject_lite_focus ( model , config )

パラメータ	説明	デフォルト値
same_frequency	同じ周波数を共有するトークンに注目できるようにします。	True
cross_frequency	異周波数補償におけるトークンへの注意を有効にします。	True
sparse_ratio	cross_frequencyのスパース率を指定します。	0.1

やるべきこと

• AudioLDM2の統合
• ディフューザーパイプラインの統合

引用

 @article{
  tan2024lite,
  title={LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis},
  author={Zhenxiong Tan, Xinyin Ma, Gongfan Fang, and Xinchao Wang},
  journal={arXiv preprint arXiv:2407.10468},
  year={2024}
}