LiteFocus

라이트포커스

LiteFocus: 긴 오디오 합성을 위한 가속 확산 추론
Zhenxiong Tan, Xinyin Ma, Gongfan Fang, Xinchao Wang
싱가포르 국립대학교 학습 및 비전 연구소

TL;DR(너무 길어서 읽지 않음)

LiteFocus는 확산 기반 TTA 모델을 가속화하도록 설계된 도구로, 이제 기본 모델인 AudioLDM2로 구현됩니다. 처리 속도가 두 배로 빨라지고 오디오 품질이 향상됩니다.

설정

• 환경 준비(선택 사항)

conda create -n litefocus python=3.10
conda activate litefocus

• 설치 기반 모델

pip3 install git+https://github.com/haoheliu/AudioLDM2.git

용법

기본 사용법

from audioldm2 import text_to_audio, build_model
import scipy

+ from litefocus import inject_lite_focus, disable_lite_focus

model = build_model(model_name='audioldm2-full')

+ inject_lite_focus(model)

waveform = text_to_audio(
    latent_diffusion=model,
    duration=40,
    text='Musical constellations twinkling in the night sky, forming a cosmic melody.',
)

scipy.io.wavfile.write("out.wav", rate=16000, data=waveform)

LiteFocus 비활성화

 disable_lite_focus ( model )

구성

 config = {
    'same_frequency' : True ,
    'cross_frequency' : True ,
    'sparse_ratio' : 0.1
}

inject_lite_focus ( model , config )

매개변수	설명	기본값
same_frequency	동일한 주파수를 공유하는 토큰에 주의를 기울일 수 있습니다.	True
cross_frequency	교차 주파수 보상에서 토큰에 주의를 기울일 수 있습니다.	True
sparse_ratio	cross_frequency 에 대한 희소성 비율을 지정합니다.	0.1

할 일

• 오디오LDM2 통합
• 디퓨저 파이프라인 통합

소환

 @article{
  tan2024lite,
  title={LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis},
  author={Zhenxiong Tan, Xinyin Ma, Gongfan Fang, and Xinchao Wang},
  journal={arXiv preprint arXiv:2407.10468},
  year={2024}
}