Framer

ซอร์สโค้ดอื่น ๆ

ดาวน์โหลด

เฟรม

Framer: การแก้ไขเฟรมแบบโต้ตอบ

เหวิน หวาง ^1,2 , ชิวหยู หวัง ² , เคเฉิง เจิ้ง ² , ห่าว เฉิน ² , เจ้อไค เฉิน ¹ , เปียวกง ² , ห่าวเฉิน ¹ ,
หยูจุนเซิน ² , ชุนฮวาเซิน ¹

¹ มหาวิทยาลัยเจ้อเจียง ประเทศจีน ² กลุ่ม Ant

- TL;ดร

เราขอเสนอ Framer ซึ่งเป็นวิธีการแก้ไขเฟรมแบบโต้ตอบที่สามารถควบคุมได้มากขึ้น ซึ่งช่วยให้ผู้ใช้สามารถสร้างเฟรมการเปลี่ยนภาพระหว่างสองภาพได้อย่างราบรื่น โดยการปรับแต่งวิถีของจุดสำคัญที่เลือก ปรับปรุงการควบคุมและจัดการกับกรณีที่ท้าทาย

การเรียกร้องหลัก

Framer วิธีการที่เสนอให้การแก้ไขเฟรมแบบโต้ตอบ ช่วยให้ผู้ใช้ปรับแต่งการเปลี่ยนผ่านโดยปรับแต่งวิถีของจุดสำคัญที่เลือก วิธีการนี้ช่วยลดความคลุมเครือของการแปลงภาพ ช่วยให้สามารถควบคุมการเคลื่อนไหวในท้องถิ่นได้ละเอียดยิ่งขึ้น และปรับปรุงความสามารถของแบบจำลองในการจัดการกรณีที่ท้าทาย (เช่น วัตถุที่มีรูปร่างและสไตล์ที่แตกต่างกัน) Framer ยังมีโหมด "อัตโนมัติ" ที่จะประมาณจุดสำคัญโดยอัตโนมัติและปรับแต่งวิถี ทำให้กระบวนการง่ายขึ้นและทำให้ได้ผลลัพธ์ที่เป็นธรรมชาติและสอดคล้องกันชั่วคราว

ระเบียบวิธี

งานนี้ใช้โมเดลการแพร่กระจายภาพสู่วิดีโอขนาดใหญ่ที่ได้รับการฝึกล่วงหน้าขนาดใหญ่ (Stable Video Diffusion) เป็นโมเดลพื้นฐาน แนะนำการปรับสภาพเฟรมท้ายเพิ่มเติมเพื่ออำนวยความสะดวกในการแก้ไขวิดีโอ และรวมสาขาการควบคุมวิถีจุดสำหรับการโต้ตอบของผู้ใช้

ผลลัพธ์ที่สำคัญ

Framer มีประสิทธิภาพเหนือกว่าวิธีการแก้ไขเฟรมที่มีอยู่ในแง่ของคุณภาพของภาพและการเคลื่อนไหวที่เป็นธรรมชาติ โดยเฉพาะอย่างยิ่งในกรณีที่เกี่ยวข้องกับการเคลื่อนไหวที่ซับซ้อนและการเปลี่ยนแปลงรูปลักษณ์ที่สำคัญ การประเมินเชิงปริมาณโดยใช้ FVD (Fréchet Video Distance) แสดงให้เห็นประสิทธิภาพที่เหนือกว่าเมื่อเปรียบเทียบกับวิธีอื่นๆ การศึกษาผู้ใช้แสดงให้เห็นถึงความพึงพอใจอย่างมากต่อผลงานของ Framer โดยเน้นย้ำถึงประสิทธิภาพในการสร้างผลลัพธ์ที่สมจริงและน่าดึงดูดสายตา

บันทึกการเปลี่ยนแปลง

ปล่อยรหัสและจุดตรวจ
28 ต.ค. 2024 Huggingface Gradio Demo เปิดให้ใช้งานแล้วที่นี่!
25 ต.ค. 2024 เปิดหน้าโปรเจ็กต์และอัปโหลดการพิมพ์ล่วงหน้าของ arXiv

ตู้โชว์

โปรดทราบว่าวิดีโอมีการบีบอัดเชิงพื้นที่ เราอ้างอิงผู้อ่านไปยังหน้าโครงการสำหรับวิดีโอต้นฉบับ

1. การแก้ไขวิดีโอด้วยการโต้ตอบของผู้ใช้

เริ่มภาพ	ป้อนวิถีและผลลัพธ์การแก้ไข	สิ้นสุดภาพ

2. การปรับเปลี่ยนรูปภาพด้วยการโต้ตอบกับผู้ใช้

เริ่มภาพ	ป้อนวิถีและผลลัพธ์การแก้ไข	สิ้นสุดภาพ

3. การแก้ไขวิดีโอโดยไม่มีการควบคุมการป้อนข้อมูลโดยผู้ใช้

เริ่มภาพ	ผลการแก้ไข	สิ้นสุดภาพ

4. การสังเคราะห์มุมมองนวนิยาย

เริ่มภาพ	ผลการแก้ไข	สิ้นสุดภาพ

5. การแก้ไขการ์ตูนและร่าง

เริ่มภาพ	ผลการแก้ไข	สิ้นสุดภาพ

6. การสร้างวิดีโอตามเวลา

เริ่มภาพ	ผลการแก้ไข	สิ้นสุดภาพ

การอ้างอิง BibTeX

โปรดพิจารณาอ้างอิงเอกสารของเราหากรหัสของเรามีประโยชน์:

 @article { wang2024framer ,
  title = { Framer: Interactive Video Interpolation } ,
  author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
  journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
  year = { 2024 }
}