mmagic
v1.2.0 Release
Dokumentasi | Instalasi | Kebun Binatang Model | ?Perbarui Berita | Proyek yang Sedang Berlangsung | ?Pelaporan Masalah
Bahasa Inggris | 简体中文
Kami sangat gembira mengumumkan rilis MMagic v1.0.0 yang mewarisi MMEditing dan MMGeneration.
Setelah pembaruan berulang dengan kerangka OpenMMLab 2.0 dan digabungkan dengan MMGeneration, MMEditing telah menjadi alat canggih yang mendukung algoritme tingkat rendah berdasarkan GAN dan CNN. Saat ini, MMEditing mencakup AI Generatif dan bertransformasi menjadi perangkat AIGC yang lebih canggih dan komprehensif: MMagic ( M ultimodal A maju, G eneratif, dan Kreasi Cerdas ). MMagic akan memberikan dukungan eksperimental yang lebih gesit dan fleksibel bagi para peneliti dan penggemar AIGC, serta membantu Anda dalam perjalanan eksplorasi AIGC Anda.
Kami menyoroti fitur-fitur baru berikut.
1. Model Baru
Kami mendukung 11 model baru dalam 4 tugas baru.
2. Model Difusi Ajaib
Untuk Model Difusi, kami menyediakan "keajaiban" berikut:
3. Kerangka yang Ditingkatkan
Dengan menggunakan MMEngine dan MMCV dari kerangka OpenMMLab 2.0, MMagic telah meningkatkan fitur-fitur baru berikut:
MMagic telah mendukung semua tugas, model, metrik, dan kerugian dalam MMEditing dan MMGeneration serta menyatukan antarmuka semua komponen berdasarkan MMEngine?.
Silakan merujuk ke changelog.md untuk detail dan riwayat rilis.
Silakan merujuk ke dokumen migrasi untuk bermigrasi dari versi lama MMEditing 0.x ke versi baru MMagic 1.x.
MMagic ( M ultimodal A advanced, G enerative, dan I ntelligent C reation) adalah toolkit AIGC yang canggih dan komprehensif yang mewarisi MMEditing dan MMGeneration. Ini adalah kotak alat pengeditan & pembuatan gambar dan video sumber terbuka berdasarkan PyTorch. Ini adalah bagian dari proyek OpenMMLab.
Saat ini, MMagic mendukung banyak tugas pembuatan/pengeditan gambar dan video.
Model Tercanggih
MMagic menyediakan model generatif canggih untuk memproses, mengedit, dan mensintesis gambar dan video.
Aplikasi Ampuh dan Populer
MMagic mendukung restorasi gambar populer dan kontemporer, text-to-image, pembuatan 3D-aware, inpainting, matting, resolusi super, dan aplikasi pembuatan. Secara khusus, MMagic mendukung penyesuaian untuk difusi yang stabil dan banyak aplikasi difusi yang menarik seperti ControlNet Animation dengan SAM. MMagic juga mendukung interpolasi GAN, proyeksi GAN, manipulasi GAN, dan banyak aplikasi GAN populer lainnya. Saatnya memulai perjalanan eksplorasi AIGC Anda!
Kerangka Efisien
Dengan menggunakan MMEngine dan MMCV dari kerangka OpenMMLab 2.0, MMagic menguraikan kerangka pengeditan menjadi modul yang berbeda dan seseorang dapat dengan mudah membuat kerangka editor yang disesuaikan dengan menggabungkan modul yang berbeda. Kami dapat mendefinisikan proses pelatihan seperti bermain Lego dan menyediakan komponen dan strategi yang kaya. Di MMagic, Anda dapat menyelesaikan kontrol pada proses pelatihan dengan level API yang berbeda. Dengan dukungan MMSeparateDistributedDataParallel, pelatihan terdistribusi untuk arsitektur dinamis dapat diimplementasikan dengan mudah.
?Kembali ke Daftar Isi
Semakin banyak kontributor komunitas yang bergabung dengan kami untuk menjadikan repo kami lebih baik. Beberapa proyek terkini yang disumbangkan oleh masyarakat antara lain:
Proyek dibuka untuk memudahkan semua orang menambahkan proyek ke MMagic.
Kami menghargai semua kontribusi untuk meningkatkan MMagic. Silakan merujuk ke CONTRIBUTING.md di MMCV dan CONTRIBUTING.md di MMEngine untuk rincian lebih lanjut tentang pedoman berkontribusi.
?Kembali ke Daftar Isi
MMagic bergantung pada PyTorch, MMEngine, dan MMCV. Di bawah ini adalah langkah cepat untuk instalasi.
Langkah 1. Instal PyTorch dengan mengikuti instruksi resmi.
Langkah 2. Instal MMCV, MMEngine dan MMagic dengan MIM.
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagicLangkah 3. Verifikasi MMagic telah berhasil diinstal.
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0Memulai
Setelah berhasil menginstal MMagic, sekarang Anda sudah bisa bermain dengan MMagic! Untuk menghasilkan gambar dari teks, Anda hanya memerlukan beberapa baris kode dari MMagic!
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )Silakan lihat quick run dan inferensi untuk penggunaan dasar MMagic.
Instal MMagic dari sumber
Anda juga dapat bereksperimen pada versi terbaru yang dikembangkan daripada rilis stabil dengan menginstal MMagic dari sumber dengan perintah berikut:
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .Silakan merujuk ke instalasi untuk instruksi lebih rinci.
?Kembali ke Daftar Isi
| GAN bersyarat | GAN tanpa syarat | Restorasi Gambar | Resolusi Super Gambar |
|
|
|
|
| Resolusi Super Video | Interpolasi Video | Pewarnaan Gambar | Terjemahan Gambar |
|
|
|
|
| melukis | Tikar | Teks-ke-Gambar (Video) | Generasi sadar 3D |
|
|
|
|
Silakan merujuk ke model_zoo untuk lebih jelasnya.
?Kembali ke Daftar Isi
MMagic merupakan proyek open source yang disumbangkan oleh para peneliti dan insinyur dari berbagai perguruan tinggi dan perusahaan. Kami berharap toolbox dan benchmark ini dapat melayani komunitas riset yang sedang berkembang dengan menyediakan perangkat yang fleksibel untuk menerapkan kembali metode yang ada dan mengembangkan metode baru mereka sendiri.
Kami menghargai semua kontributor yang menerapkan metode mereka atau menambahkan fitur baru, serta pengguna yang memberikan masukan berharga. Terima kasih semuanya!
?Kembali ke Daftar Isi
Jika MMagic bermanfaat untuk penelitian Anda, harap kutip seperti di bawah ini.
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?Kembali ke Daftar Isi
Proyek ini dirilis di bawah lisensi Apache 2.0. Silakan merujuk ke LISENSI untuk pemeriksaan menyeluruh, jika Anda menggunakan kode kami untuk urusan komersial.
?Kembali ke Daftar Isi
?Kembali ke Daftar Isi
