mmagic
v1.2.0 Release
ドキュメント |インストール |模型動物園 | ?アップデートニュース |進行中のプロジェクト | ?問題の報告
英語 | 简体中文
MMEditing と MMGeneration を継承する MMagic v1.0.0 のリリースを発表できることを嬉しく思います。
OpenMMLab 2.0 フレームワークによる反復的な更新と MMGeneration との統合を経て、MMEditing は GAN と CNN の両方に基づく低レベルのアルゴリズムをサポートする強力なツールになりました。現在、MMEditing は Generative AI を採用し、より高度で包括的な AIGC ツールキットであるMMagic ( M ultimodal A dvanced、 G enerative、およびI intelligent C reation) に変わりました。 MMagic は、研究者や AIGC 愛好家に、より機敏で柔軟な実験サポートを提供し、AIGC 探索の旅を支援します。
以下の新機能を取り上げます。
1. 新モデル
4 つの新しいタスクで 11 の新しいモデルをサポートします。
2. 魔法の拡散モデル
拡散モデルには、次の「魔法」を提供します。
3. アップグレードされたフレームワーク
OpenMMLab 2.0 フレームワークの MMEngine と MMCV を使用することにより、MMagic は次の新機能でアップグレードされました。
MMagic は、 MMEditing と MMGeneration のすべてのタスク、モデル、メトリクス、損失をサポートしており、MMEngine に基づいてすべてのコンポーネントのインターフェイスを統合しています。
詳細とリリース履歴については、changelog.md を参照してください。
古いバージョン MMEditing 0.x から新しいバージョン MMagic 1.x に移行するには、移行ドキュメントを参照してください。
MMagic ( M ultimodal A dvanced、 G enerative、およびIntelligent C reation) は、MMEditing および MMGeneration を継承する高度かつ包括的な AIGC ツールキットです。これは、PyTorch に基づいたオープンソースの画像とビデオの編集と生成ツールボックスです。これは OpenMMLab プロジェクトの一部です。
現在、MMagic は複数の画像およびビデオの生成/編集タスクをサポートしています。
最先端のモデル
MMagic は、画像やビデオを処理、編集、合成するための最先端の生成モデルを提供します。
強力で人気のあるアプリケーション
MMagic は、一般的な最新の画像修復、テキストから画像への変換、3D 対応の生成、修復、マット化、超解像度および生成アプリケーションをサポートしています。具体的には、MMagic は安定した拡散のための微調整と、SAM を使用した ControlNet アニメーションなどの多くのエキサイティングな拡散アプリケーションをサポートしています。 MMagic は、GAN 補間、GAN 投影、GAN 操作、その他多くの一般的な GAN アプリケーションもサポートしています。 AIGC 探索の旅を始める時が来ました!
効率的なフレームワーク
OpenMMLab 2.0 フレームワークの MMEngine と MMCV を使用することで、MMagic は編集フレームワークをさまざまなモジュールに分解し、さまざまなモジュールを組み合わせてカスタマイズされたエディター フレームワークを簡単に構築できます。レゴで遊ぶのと同じようにトレーニング プロセスを定義し、豊富なコンポーネントと戦略を提供できます。 MMagic では、さまざまなレベルの API を使用してトレーニング プロセスの制御を完了できます。 MMSeparateDistributedDataParallel のサポートにより、動的アーキテクチャの分散トレーニングを簡単に実装できます。
?目次に戻る
リポジトリをより良いものにするために、ますます多くのコミュニティ貢献者が参加しています。最近のプロジェクトには、次のようなコミュニティによって貢献されたものがあります。
プロジェクトは、誰でも簡単に MMagic にプロジェクトを追加できるようにするために開かれています。
MMagic を改善するためのあらゆる貢献に感謝いたします。貢献ガイドラインの詳細については、MMCV の CONTRIBUTING.md および MMEngine の CONTRIBUTING.md を参照してください。
?目次に戻る
MMagic は PyTorch、MMEngine、および MMCV に依存しています。以下に簡単なインストール手順を示します。
ステップ 1.公式の手順に従って PyTorch をインストールします。
ステップ 2. MIM を使用して MMCV、MMEngine、および MMagic をインストールします。
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagicステップ 3. MMagic が正常にインストールされたことを確認します。
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0はじめる
MMagic が正常にインストールされたら、MMagic でプレイできるようになります。テキストから画像を生成するには、MMagic による数行のコードだけが必要です。
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )MMagic の基本的な使用法については、クイック実行と推論を参照してください。
ソースから MMagic をインストールする
次のコマンドを使用してソースから MMagic をインストールすることで、安定版リリースではなく最新の開発バージョンを実験することもできます。
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .詳細な手順については、インストールを参照してください。
?目次に戻る
| 条件付き GAN | 無条件 GAN | 画像の修復 | 画像の超解像 |
|
|
|
|
| ビデオ超解像度 | ビデオ補間 | 画像の色付け | 画像翻訳 |
|
|
|
|
| 修復 | マット加工 | テキストから画像へ(ビデオ) | 3D を意識した生成 |
|
|
|
|
詳細については、model_zoo を参照してください。
?目次に戻る
MMagic は、さまざまな大学や企業の研究者やエンジニアが貢献するオープンソース プロジェクトです。私たちは、ツールボックスとベンチマークが、既存の手法を再実装したり、独自の新しい手法を開発したりするための柔軟なツールキットを提供することで、成長する研究コミュニティに役立つことを願っています。
メソッドを実装したり、新しい機能を追加したすべての貢献者、および貴重なフィードバックを提供したユーザーに感謝します。皆さんありがとうございました！
?目次に戻る
MMagic があなたの研究に役立つ場合は、以下のように引用してください。
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?目次に戻る
このプロジェクトは、Apache 2.0 ライセンスに基づいてリリースされています。商業目的で当社のコードを使用する場合は、「ライセンス」を参照して慎重に確認してください。
?目次に戻る
?目次に戻る
