mmagic
v1.2.0 Release
เอกสารประกอบ | การติดตั้ง | สวนสัตว์จำลอง | ?อัพเดทข่าว | โครงการที่กำลังดำเนินอยู่ | ?การรายงานปัญหา
อังกฤษ | 简体中文
เรารู้สึกตื่นเต้นที่จะประกาศการเปิดตัว MMagic v1.0.0 ที่สืบทอดมาจาก MMEditing และ MMGeneration
หลังจากการอัปเดตซ้ำด้วยเฟรมเวิร์ก OpenMMLab 2.0 และรวมเข้ากับ MMGeneration แล้ว MMEditing ก็กลายเป็นเครื่องมืออันทรงพลังที่รองรับอัลกอริธึมระดับต่ำที่ใช้ทั้ง GAN และ CNN ปัจจุบัน MMEditing ยอมรับ Generative AI และแปลงเป็นชุดเครื่องมือ AIGC ขั้นสูงและครอบคลุมมากขึ้น: MMagic ( M ultimodal A dvanced, G enerative และ I ntelligent C reation) MMagic จะให้การสนับสนุนการทดลองที่คล่องตัวและยืดหยุ่นมากขึ้นสำหรับนักวิจัยและผู้ที่ชื่นชอบ AIGC และช่วยเหลือคุณในการเดินทางสำรวจ AIGC ของคุณ
เราเน้นคุณสมบัติใหม่ดังต่อไปนี้
1. โมเดลใหม่
เราสนับสนุนโมเดลใหม่ 11 รุ่นใน 4 งานใหม่
2. โมเดลการแพร่กระจายเวทย์มนตร์
สำหรับโมเดลการแพร่กระจาย เรามี "เวทมนตร์" ดังต่อไปนี้:
3. เฟรมเวิร์กที่อัปเกรดแล้ว
ด้วยการใช้ MMEngine และ MMCV ของเฟรมเวิร์ก OpenMMLab 2.0 MMagic ได้อัปเกรดฟีเจอร์ใหม่ดังต่อไปนี้:
MMagic รองรับงาน โมเดล ตัวชี้วัด และการสูญเสียทั้งหมดใน MMEditing และ MMGeneration และรวมอินเทอร์เฟซของส่วนประกอบทั้งหมดที่ใช้ MMEngine ?
โปรดดูที่ changelog.md สำหรับรายละเอียดและประวัติการเปิดตัว
โปรดดูเอกสารการย้ายข้อมูลเพื่อย้ายจากเวอร์ชันเก่า MMEditing 0.x ไปเป็นเวอร์ชันใหม่ MMagic 1.x
MMagic ( M ultimodal A ขั้นสูง, G enerative และ I การสร้างปฏิกิริยา C อัจฉริยะ) เป็นชุดเครื่องมือ AIGC ขั้นสูงและครอบคลุมที่สืบทอดมาจาก MMEditing และ MMGeneration เป็นกล่องเครื่องมือแก้ไขและสร้างรูปภาพและวิดีโอแบบโอเพ่นซอร์สที่ใช้ PyTorch มันเป็นส่วนหนึ่งของโครงการ OpenMMLab
ปัจจุบัน MMagic รองรับงานสร้าง/แก้ไขรูปภาพและวิดีโอหลายงาน
โมเดลล้ำสมัย
MMagic นำเสนอโมเดลกำเนิดที่ล้ำสมัยเพื่อประมวลผล แก้ไข และสังเคราะห์รูปภาพและวิดีโอ
แอปพลิเคชั่นที่ทรงพลังและเป็นที่นิยม
MMagic รองรับการฟื้นฟูรูปภาพยอดนิยมและร่วมสมัย การสร้างข้อความเป็นรูปภาพ การสร้างการรับรู้ 3 มิติ การลงสี การปูด้าน ความละเอียดพิเศษ และแอปพลิเคชันการสร้าง โดยเฉพาะ MMagic รองรับการปรับแต่งอย่างละเอียดเพื่อการแพร่กระจายที่เสถียรและแอพพลิเคชั่นการแพร่กระจายที่น่าตื่นเต้นมากมาย เช่น ControlNet Animation พร้อม SAM MMagic ยังรองรับการแก้ไข GAN, การฉายภาพ GAN, การปรับแต่ง GAN และแอปพลิเคชัน GAN ยอดนิยมอื่น ๆ อีกมากมาย ถึงเวลาที่จะเริ่มการเดินทางสำรวจ AIGC ของคุณแล้ว!
กรอบการทำงานที่มีประสิทธิภาพ
ด้วยการใช้ MMEngine และ MMCV ของเฟรมเวิร์ก OpenMMLab 2.0 MMagic จะแบ่งเฟรมเวิร์กการแก้ไขออกเป็นโมดูลต่างๆ และคุณสามารถสร้างเฟรมเวิร์กตัวแก้ไขแบบกำหนดเองได้อย่างง่ายดายโดยการรวมโมดูลต่างๆ เราสามารถกำหนดกระบวนการฝึกอบรมได้เหมือนกับการเล่น Legos และจัดเตรียมองค์ประกอบและกลยุทธ์ที่หลากหลาย ใน MMagic คุณสามารถควบคุมกระบวนการฝึกอบรมได้สำเร็จด้วย API ระดับต่างๆ ด้วยการสนับสนุน MMSeparateDistributedDataParallel การฝึกอบรมแบบกระจายสำหรับสถาปัตยกรรมแบบไดนามิกจึงสามารถนำไปใช้ได้อย่างง่ายดาย
?กลับไปที่สารบัญ
ผู้ร่วมให้ข้อมูลในชุมชนจำนวนมากขึ้นเรื่อยๆ กำลังเข้าร่วมกับเราเพื่อทำให้ repo ของเราดีขึ้น โครงการล่าสุดบางโครงการได้รับการสนับสนุนจากชุมชน ได้แก่:
เปิดโปรเจ็กต์เพื่อให้ทุกคนเพิ่มโปรเจ็กต์ลงใน MMagic ได้ง่ายขึ้น
เราขอขอบคุณการมีส่วนร่วมทั้งหมดเพื่อปรับปรุง MMagic โปรดดูที่ CONTRIBUTING.md ใน MMCV และ CONTRIBUTING.md ใน MMEngine สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับแนวทางการมีส่วนร่วม
?กลับไปที่สารบัญ
MMagic ขึ้นอยู่กับ PyTorch, MMEngine และ MMCV ด้านล่างนี้เป็นขั้นตอนง่ายๆ สำหรับการติดตั้ง
ขั้นตอนที่ 1 ติดตั้ง PyTorch ตามคำแนะนำอย่างเป็นทางการ
ขั้นตอนที่ 2 ติดตั้ง MMCV, MMEngine และ MMagic ด้วย MIM
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagicขั้นตอนที่ 3 ตรวจสอบว่าติดตั้ง MMagic สำเร็จแล้ว
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0เริ่มต้นใช้งาน
หลังจากติดตั้ง MMagic สำเร็จ ตอนนี้คุณสามารถเล่นกับ MMagic ได้แล้ว! ในการสร้างภาพจากข้อความ คุณเพียงต้องใช้โค้ดหลายบรรทัดจาก MMagic!
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )โปรดดูการเรียกใช้และการอนุมานอย่างรวดเร็วสำหรับการใช้งานพื้นฐานของ MMagic
ติดตั้ง MMagic จากแหล่งที่มา
คุณยังสามารถทดลองใช้เวอร์ชันที่พัฒนาล่าสุดแทนเวอร์ชันเสถียรได้โดยการติดตั้ง MMagic จากแหล่งที่มาด้วยคำสั่งต่อไปนี้:
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .โปรดดูการติดตั้งสำหรับคำแนะนำโดยละเอียดเพิ่มเติม
?กลับไปที่สารบัญ
| GAN แบบมีเงื่อนไข | GAN ที่ไม่มีเงื่อนไข | การฟื้นฟูภาพ | ภาพความละเอียดสูงพิเศษ |
|
|
|
|
| วิดีโอความละเอียดสูงพิเศษ | การแก้ไขวิดีโอ | การปรับสีของภาพ | การแปลรูปภาพ |
|
|
|
|
| การวาดภาพ | เครื่องปูลาด | ข้อความเป็นรูปภาพ (วิดีโอ) | การสร้างการรับรู้แบบ 3 มิติ |
|
|
|
|
โปรดดูที่ model_zoo สำหรับรายละเอียดเพิ่มเติม
?กลับไปที่สารบัญ
MMagic เป็นโครงการโอเพ่นซอร์สที่ได้รับการสนับสนุนจากนักวิจัยและวิศวกรจากวิทยาลัยและบริษัทต่างๆ เราหวังว่ากล่องเครื่องมือและเกณฑ์มาตรฐานจะสามารถรองรับชุมชนการวิจัยที่กำลังเติบโตโดยการจัดหาชุดเครื่องมือที่ยืดหยุ่นเพื่อนำวิธีการที่มีอยู่มาใช้ใหม่ และพัฒนาวิธีการใหม่ของตนเอง
เราขอขอบคุณผู้มีส่วนร่วมทุกคนที่นำวิธีการของตนไปใช้หรือเพิ่มคุณสมบัติใหม่ๆ ตลอดจนผู้ใช้ที่ให้ข้อเสนอแนะอันมีค่า ขอบคุณทุกท่าน!
?กลับไปที่สารบัญ
หาก MMagic มีประโยชน์ต่อการวิจัยของคุณ โปรดอ้างอิงตามด้านล่างนี้
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?กลับไปที่สารบัญ
โครงการนี้เผยแพร่ภายใต้ลิขสิทธิ์ Apache 2.0 โปรดดูใบอนุญาตสำหรับการตรวจสอบอย่างรอบคอบ หากคุณใช้รหัสของเราเพื่อการค้า
?กลับไปที่สารบัญ
?กลับไปที่สารบัญ
