mmagic
v1.2.0 Release
Dokumentation | Installation | Modellzoo | ?Neuigkeiten aktualisieren | Laufende Projekte | ?Probleme melden
Englisch | 简体中文
Wir freuen uns, die Veröffentlichung von MMagic v1.0.0 bekannt zu geben, das von MMEditing und MMGeneration erbt.
Nach iterativen Aktualisierungen mit dem OpenMMLab 2.0-Framework und der Zusammenführung mit MMGeneration ist MMEditing zu einem leistungsstarken Tool geworden, das Low-Level-Algorithmen unterstützt, die sowohl auf GAN als auch auf CNN basieren. Heute umfasst MMEditing die generative KI und wandelt sich in ein fortschrittlicheres und umfassenderes AIGC-Toolkit um: MMagic ( Multimodal Advanced , G enerative, and Intelligent C reation). MMagic bietet Forschern und AIGC-Enthusiasten agilere und flexiblere experimentelle Unterstützung und hilft Ihnen auf Ihrer AIGC-Erkundungsreise.
Wir heben die folgenden neuen Funktionen hervor.
1. Neue Modelle
Wir unterstützen 11 neue Modelle in 4 neuen Aufgaben.
2. Magisches Diffusionsmodell
Für das Diffusionsmodell bieten wir die folgende „Magie“:
3. Aktualisiertes Framework
Durch die Verwendung von MMEngine und MMCV des OpenMMLab 2.0-Frameworks hat MMagic die folgenden neuen Funktionen aktualisiert:
MMagic unterstützt alle Aufgaben, Modelle, Metriken und Verluste in MMEditing und MMGeneration und vereinheitlicht die Schnittstellen aller Komponenten auf Basis von MMEngine ?.
Weitere Informationen und den Veröffentlichungsverlauf finden Sie unter changelog.md.
Informationen zur Migration von der alten Version MMEditing 0.x auf die neue Version MMagic 1.x finden Sie in den Migrationsdokumenten.
MMagic ( Multimodal Advanced , G enerative, and Intelligent Creation ) ist ein fortschrittliches und umfassendes AIGC-Toolkit, das von MMEditing und MMGeneration erbt. Es handelt sich um eine Open-Source-Toolbox zur Bearbeitung und Generierung von Bildern und Videos, die auf PyTorch basiert. Es ist Teil des OpenMMLab-Projekts.
Derzeit unterstützt MMagic mehrere Aufgaben zur Erstellung/Bearbeitung von Bildern und Videos.
Modernste Modelle
MMagic bietet hochmoderne generative Modelle zum Verarbeiten, Bearbeiten und Synthetisieren von Bildern und Videos.
Leistungsstarke und beliebte Anwendungen
MMagic unterstützt beliebte und moderne Anwendungen für Bildwiederherstellung, Text-zu-Bild, 3D-fähige Generierung, Inpainting, Mattierung, Superauflösung und Generierung. Insbesondere unterstützt MMagic die Feinabstimmung für eine stabile Diffusion und viele spannende Diffusionsanwendungen wie ControlNet Animation mit SAM. MMagic unterstützt außerdem GAN-Interpolation, GAN-Projektion, GAN-Manipulationen und viele andere beliebte GAN-Anwendungen. Es ist Zeit, Ihre AIGC-Erkundungsreise zu beginnen!
Effizienter Rahmen
Durch die Verwendung von MMEngine und MMCV des OpenMMLab 2.0-Frameworks zerlegt MMagic das Bearbeitungs-Framework in verschiedene Module, und durch die Kombination verschiedener Module kann leicht ein individuelles Editor-Framework erstellt werden. Wir können den Trainingsprozess genau wie beim Spielen mit Legos definieren und umfangreiche Komponenten und Strategien bereitstellen. In MMagic können Sie die Steuerung des Trainingsprozesses mit unterschiedlichen API-Ebenen durchführen. Mit der Unterstützung von MMSeparateDistributedDataParallel lässt sich verteiltes Training für dynamische Architekturen einfach umsetzen.
?Zurück zum Inhaltsverzeichnis
Immer mehr Community-Mitwirkende schließen sich uns an, um unser Repo zu verbessern. Einige aktuelle Projekte wurden von der Community beigesteuert, darunter:
Projekte werden geöffnet, um es allen einfacher zu machen, Projekte zu MMagic hinzuzufügen.
Wir freuen uns über alle Beiträge zur Verbesserung von MMagic. Weitere Informationen zur Beitragsrichtlinie finden Sie unter CONTRIBUTING.md in MMCV und CONTRIBUTING.md in MMEngine.
?Zurück zum Inhaltsverzeichnis
MMagic hängt von PyTorch, MMEngine und MMCV ab. Nachfolgend finden Sie schnelle Schritte zur Installation.
Schritt 1. Installieren Sie PyTorch gemäß den offiziellen Anweisungen.
Schritt 2. Installieren Sie MMCV, MMEngine und MMagic mit MIM.
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagicSchritt 3. Überprüfen Sie, ob MMagic erfolgreich installiert wurde.
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0Erste Schritte
Nach der erfolgreichen Installation von MMagic können Sie jetzt mit MMagic spielen! Um aus Text ein Bild zu generieren, benötigen Sie nur mehrere Codezeilen von MMagic!
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )Informationen zur grundlegenden Verwendung von MMagic finden Sie unter Quick Run und Inference.
Installieren Sie MMagic von der Quelle
Sie können statt der stabilen Version auch mit der zuletzt entwickelten Version experimentieren, indem Sie MMagic mit den folgenden Befehlen von der Quelle installieren:
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .Ausführlichere Anweisungen finden Sie in der Installationsanleitung.
?Zurück zum Inhaltsverzeichnis
| Bedingte GANs | Bedingungslose GANs | Bildwiederherstellung | Bild-Superauflösung |
|
|
|
|
| Video-Superauflösung | Videointerpolation | Bildkolorierung | Bildübersetzung |
|
|
|
|
| Inpainting | Matten | Text-zu-Bild (Video) | 3D-fähige Generation |
|
|
|
|
Weitere Informationen finden Sie unter model_zoo.
?Zurück zum Inhaltsverzeichnis
MMagic ist ein Open-Source-Projekt, das von Forschern und Ingenieuren verschiedener Hochschulen und Unternehmen beigesteuert wird. Wir wünschen uns, dass die Toolbox und der Benchmark der wachsenden Forschungsgemeinschaft dienen könnten, indem sie ein flexibles Toolkit zur Neuimplementierung vorhandener Methoden und zur Entwicklung eigener neuer Methoden bereitstellen.
Wir freuen uns über alle Mitwirkenden, die ihre Methoden implementieren oder neue Funktionen hinzufügen, sowie über Benutzer, die wertvolles Feedback geben. Vielen Dank euch allen!
?Zurück zum Inhaltsverzeichnis
Wenn MMagic für Ihre Forschung hilfreich ist, geben Sie es bitte wie folgt an.
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?Zurück zum Inhaltsverzeichnis
Dieses Projekt wird unter der Apache 2.0-Lizenz veröffentlicht. Wenn Sie unseren Code kommerziell nutzen, beachten Sie bitte den Abschnitt LIZENZEN zur sorgfältigen Prüfung.
?Zurück zum Inhaltsverzeichnis
?Zurück zum Inhaltsverzeichnis
