mmagic
v1.2.0 Release
文檔 |安裝|模型動物園| ?更新新聞|正在進行的項目 | ?報告問題
英語 | 簡體中文
我們很高興地宣布發布繼承自 MMEditing 和 MMGeneration 的 MMagic v1.0.0。
經過 OpenMMLab 2.0 框架的迭代更新並與 MMGeneration 合併，MMEditing 已成為支援基於 GAN 和 CNN 的低階演算法的強大工具。如今，MMEditing 擁抱生成式 AI，並轉變為更先進、更全面的 AIGC 工具包： MMagic （多模態高級、生成和智慧創建）。 MMagic將為研究人員和AIGC愛好者提供更敏捷、更靈活的實驗支持，為您的AIGC探索之旅助上一臂之力。
我們重點介紹以下新功能。
1. 新車型
我們支援 4 個新任務中的 11 個新模型。
2. 魔法擴散模型
對於擴散模型，我們提供以下「魔法」：
3. 框架升級
透過使用OpenMMLab 2.0框架的MMEngine和MMCV，MMagic在以下新功能上進行了升級：
MMagic支援MMEditing和MMGeneration中的所有任務、模型、指標和損失，並基於MMEngine®統一了所有組件的介面。
請參閱changelog.md以了解詳細資訊和發布歷史記錄。
請參考遷移文件從舊版 MMEditing 0.x 遷移到新版本 MMagic 1.x 。
MMagic（ M ultimodal A dvanced、 G enerative、 Intelligent Creation ）是一個繼承自 MMEditing 和 MMGeneration 的先進且全面的 AIGC 工具包。它是一個基於PyTorch的開源圖像和影片編輯生成工具箱。它是 OpenMMLab 專案的一部分。
目前，MMagic 支援多種影像和影片生成/編輯任務。
最先進的模型
MMagic 提供最先進的生成模型來處理、編輯和合成影像和影片。
強大且流行的應用程式
MMagic 支援流行和當代的圖像修復、文字到圖像、3D 感知生成、修復、摳圖、超解析度和生成應用程式。具體來說，MMagic 支援穩定擴散的微調和許多令人興奮的擴散應用，例如具有 SAM 的 ControlNet Animation。 MMagic 還支援 GAN 插值、GAN 投影、GAN 操作和許多其他流行的 GAN 應用程式。是時候開始您的 AIGC 探索之旅了！
高效率的框架
透過使用OpenMMLab 2.0框架的MMEngine和MMCV，MMagic將編輯框架分解為不同的模組，透過組合不同的模組可以輕鬆建立客製化的編輯器框架。我們可以像玩樂高一樣定義訓練過程，並提供豐富的組件和策略。在MMagic中，您可以透過不同等級的API完成對訓練過程的控制。在MMSeparateDistributedDataParallel的支援下，可以輕鬆實現動態架構的分散式訓練。
?返回目錄
越來越多的社區貢獻者加入我們，讓我們的倉庫變得更好。最近的一些項目是由社區貢獻的，包括：
打開Projects是為了讓大家更方便的新增項目到MMagic。
我們感謝所有為改進 MMagic 所做的貢獻。有關貢獻指南的更多詳細信息，請參閱 MMCV 中的 CONTRIBUTING.md 和 MMEngine 中的 CONTRIBUTING.md。
?返回目錄
MMagic 依賴 PyTorch、MMEngine 和 MMCV。以下是快速安裝步驟。
步驟 1.依照官方說明安裝 PyTorch。
步驟 2.使用 MIM 安裝 MMCV、MMEngine 和 MMagic。
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagic步驟 3.驗證 MMagic 是否已成功安裝。
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0入門
成功安裝MMagic後，現在就可以玩MMagic了！ MMagic只需要幾行程式碼就可以從文字產生圖像！
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )MMagic的基本使用方法請參考快速運行和推理。
從原始碼安裝 MMagic
您也可以透過使用以下命令從原始程式碼安裝 MMagic 來試驗最新開發的版本而不是穩定版本：
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .請參閱安裝以取得更詳細的說明。
?返回目錄
| 條件 GAN | 無條件 GAN | 影像修復 | 影像超解析度 |
|
|
|
|
| 視訊超解析度 | 影片插值 | 圖像著色 | 影像翻譯 |
|
|
|
|
| 修復 | 消光 | 文字轉圖像（影片） | 3D 感知一代 |
|
|
|
|
請參閱 model_zoo 以了解更多詳細資訊。
?返回目錄
MMagic 是一個開源項目，由來自各個學院和公司的研究人員和工程師貢獻。我們希望工具箱和基準能夠透過提供靈活的工具包來重新實現現有方法並開發自己的新方法，從而為不斷發展的研究社區服務。
我們感謝所有實施其方法或添加新功能的貢獻者，以及提供寶貴回饋的用戶。謝謝大家！
?返回目錄
如果MMagic對您的研究有幫助，請在下面引用。
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?返回目錄
該專案是在 Apache 2.0 許可證下發布的。如果您將我們的程式碼用於商業用途，請參閱許可證進行仔細檢查。
?返回目錄
?返回目錄
