mmagic
v1.2.0 Release
Documents | Installation | Zoo modèle | ?Mise à jour des nouvelles | Projets en cours | ?Problèmes de signalement
Anglais | 简体中文
Nous sommes ravis d'annoncer la sortie de MMagic v1.0.0 qui hérite de MMEditing et MMGeneration.
Après des mises à jour itératives avec le framework OpenMMLab 2.0 et une fusion avec MMGeneration, MMEditing est devenu un outil puissant qui prend en charge les algorithmes de bas niveau basés à la fois sur GAN et CNN. Aujourd'hui, MMEditing adopte l'IA générative et se transforme en une boîte à outils AIGC plus avancée et plus complète : MMagic ( M ultimodal A dvanced, G enerative et I ntelligent C reation). MMagic fournira un support expérimental plus agile et flexible aux chercheurs et aux passionnés d'AIGC, et vous aidera dans votre voyage d'exploration de l'AIGC.
Nous soulignons les nouvelles fonctionnalités suivantes.
1. Nouveaux modèles
Nous prenons en charge 11 nouveaux modèles dans 4 nouvelles tâches.
2. Modèle de diffusion magique
Pour le Modèle de Diffusion, nous fournissons la « magie » suivante :
3. Cadre amélioré
En utilisant MMEngine et MMCV du framework OpenMMLab 2.0, MMagic a mis à niveau les nouvelles fonctionnalités suivantes :
MMagic a pris en charge toutes les tâches, modèles, métriques et pertes dans MMEditing et MMGeneration et unifie les interfaces de tous les composants basés sur MMEngine ?.
Veuillez vous référer à changelog.md pour plus de détails et l'historique des versions.
Veuillez vous référer aux documents de migration pour migrer de l'ancienne version MMEditing 0.x vers la nouvelle version MMagic 1.x.
MMagic ( M ultimodal A dvanced, G enerative, and I ntelligent C reation) est une boîte à outils AIGC avancée et complète qui hérite de MMEditing et MMGeneration. Il s'agit d'une boîte à outils open source d'édition et de génération d'images et de vidéos basée sur PyTorch. Il fait partie du projet OpenMMLab.
Actuellement, MMagic prend en charge plusieurs tâches de génération/édition d’images et de vidéos.
Modèles de pointe
MMagic fournit des modèles génératifs de pointe pour traiter, éditer et synthétiser des images et des vidéos.
Applications puissantes et populaires
MMagic prend en charge les applications populaires et contemporaines de restauration d'images, de conversion de texte en image, de génération 3D, d'inpainting, de passe-partout, de super-résolution et de génération. Plus précisément, MMagic prend en charge le réglage fin pour une diffusion stable et de nombreuses applications de diffusion passionnantes telles que ControlNet Animation avec SAM. MMagic prend également en charge l'interpolation GAN, la projection GAN, les manipulations GAN et de nombreuses autres applications GAN populaires. Il est temps de commencer votre voyage d'exploration AIGC !
Cadre efficace
En utilisant MMEngine et MMCV du framework OpenMMLab 2.0, MMagic décompose le framework d'édition en différents modules et on peut facilement construire un framework d'éditeur personnalisé en combinant différents modules. Nous pouvons définir le processus de formation comme jouer avec des Legos et fournir des composants et des stratégies riches. Dans MMagic, vous pouvez effectuer des contrôles sur le processus de formation avec différents niveaux d'API. Avec la prise en charge de MMSeparateDistributedDataParallel, la formation distribuée pour les architectures dynamiques peut être facilement mise en œuvre.
?Retour à la table des matières
De plus en plus de contributeurs de la communauté nous rejoignent pour améliorer notre dépôt. Certains projets récents bénéficient de la contribution de la communauté, notamment :
Les projets sont ouverts pour permettre à chacun d'ajouter plus facilement des projets à MMagic.
Nous apprécions toutes les contributions pour améliorer MMagic. Veuillez vous référer à CONTRIBUTING.md dans MMCV et CONTRIBUTING.md dans MMEngine pour plus de détails sur les lignes directrices de contribution.
?Retour à la table des matières
MMagic dépend de PyTorch, MMEngine et MMCV. Vous trouverez ci-dessous les étapes rapides d'installation.
Étape 1. Installez PyTorch en suivant les instructions officielles.
Étape 2. Installez MMCV, MMEngine et MMagic avec MIM.
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagicÉtape 3. Vérifiez que MMagic a été installé avec succès.
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0Commencer
Après avoir installé MMagic avec succès, vous pouvez désormais jouer avec MMagic ! Pour générer une image à partir d'un texte, vous n'avez besoin que de quelques lignes de codes par MMagic !
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )Veuillez consulter l'exécution rapide et l'inférence pour l'utilisation de base de MMagic.
Installer MMagic à partir des sources
Vous pouvez également expérimenter sur la dernière version développée plutôt que sur la version stable en installant MMagic à partir des sources avec les commandes suivantes :
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .Veuillez vous référer à l'installation pour des instructions plus détaillées.
?Retour à la table des matières
| GAN conditionnels | GAN inconditionnels | Restauration d'images | Super-résolution d'image |
|
|
|
|
| Super-résolution vidéo | Interpolation vidéo | Colorisation des images | Traduction d’images |
|
|
|
|
| Peinture | Tapis | Texte à image (vidéo) | Génération compatible 3D |
|
|
|
|
Veuillez vous référer à model_zoo pour plus de détails.
?Retour à la table des matières
MMagic est un projet open source auquel contribuent des chercheurs et des ingénieurs de divers collèges et entreprises. Nous souhaitons que la boîte à outils et le benchmark puissent servir la communauté de recherche croissante en fournissant une boîte à outils flexible pour réimplémenter les méthodes existantes et développer leurs propres nouvelles méthodes.
Nous apprécions tous les contributeurs qui mettent en œuvre leurs méthodes ou ajoutent de nouvelles fonctionnalités, ainsi que les utilisateurs qui donnent de précieux commentaires. Merci à tous !
?Retour à la table des matières
Si MMagic est utile à votre recherche, veuillez le citer comme ci-dessous.
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?Retour à la table des matières
Ce projet est publié sous la licence Apache 2.0. Veuillez vous référer aux LICENCES pour une vérification minutieuse si vous utilisez notre code à des fins commerciales.
?Retour à la table des matières
?Retour à la table des matières
