LiteFocus

LiteFocus

LiteFocus: การอนุมานการแพร่กระจายแบบเร่งเพื่อการสังเคราะห์เสียงแบบยาว
เจิ้นซยง ตัน, ซินหยิน หม่า, กงฟาน ฟาง และซินฉาว หวาง
Learning and Vision Lab, มหาวิทยาลัยแห่งชาติสิงคโปร์

TL;DR (ยาวเกินไป ไม่ได้อ่าน)

LiteFocus เป็นเครื่องมือที่ออกแบบมาเพื่อเร่งความเร็วโมเดล TTA ที่ใช้การแพร่กระจาย ซึ่งขณะนี้ใช้งานกับโมเดลพื้นฐาน AudioLDM2 มันเพิ่มความเร็วในการประมวลผลเป็นสองเท่าและปรับปรุงคุณภาพเสียง

ตั้งค่า

• เตรียมสภาพแวดล้อม (ไม่จำเป็น)

conda create -n litefocus python=3.10
conda activate litefocus

• ติดตั้งโมเดลพื้นฐาน

pip3 install git+https://github.com/haoheliu/AudioLDM2.git

การใช้งาน

การใช้งานขั้นพื้นฐาน

from audioldm2 import text_to_audio, build_model
import scipy

+ from litefocus import inject_lite_focus, disable_lite_focus

model = build_model(model_name='audioldm2-full')

+ inject_lite_focus(model)

waveform = text_to_audio(
    latent_diffusion=model,
    duration=40,
    text='Musical constellations twinkling in the night sky, forming a cosmic melody.',
)

scipy.io.wavfile.write("out.wav", rate=16000, data=waveform)

ปิดการใช้งาน LiteFocus

 disable_lite_focus ( model )

การกำหนดค่า

 config = {
    'same_frequency' : True ,
    'cross_frequency' : True ,
    'sparse_ratio' : 0.1
}

inject_lite_focus ( model , config )

พารามิเตอร์	คำอธิบาย	ค่าเริ่มต้น
same_frequency	ช่วยให้สามารถให้ความสนใจกับโทเค็นที่ใช้ความถี่เดียวกันได้	True
cross_frequency	ช่วยให้ความสนใจกับโทเค็นในการชดเชยข้ามความถี่	True
sparse_ratio	ระบุอัตราส่วน Sparsity สำหรับ cross_frequency	0.1

สิ่งที่ต้องทำ

• การบูรณาการ AudioLDM2
• บูรณาการไปป์ไลน์ Diffusers

การอ้างอิง

 @article{
  tan2024lite,
  title={LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis},
  author={Zhenxiong Tan, Xinyin Ma, Gongfan Fang, and Xinchao Wang},
  journal={arXiv preprint arXiv:2407.10468},
  year={2024}
}