mmagic
v1.2.0 Release
Documentación | Instalación | Zoológico Modelo | ?Actualización de noticias | Proyectos en curso | ?Reportar problemas
Inglés | 简体中文
Nos complace anunciar el lanzamiento de MMagic v1.0.0 que hereda de MMEditing y MMGeneration.
Después de actualizaciones iterativas con el marco OpenMMLab 2.0 y fusionado con MMGeneration, MMEditing se ha convertido en una herramienta poderosa que admite algoritmos de bajo nivel basados en GAN y CNN. Hoy en día, MMEditing adopta la IA generativa y se transforma en un conjunto de herramientas AIGC más avanzado y completo: MMagic ( creación multimodal avanzada, generativa e inteligente ). MMagic brindará soporte experimental más ágil y flexible para investigadores y entusiastas de AIGC, y lo ayudará en su viaje de exploración de AIGC.
Destacamos las siguientes novedades.
1. Nuevos modelos
Admitimos 11 nuevos modelos en 4 nuevas tareas.
2. Modelo de difusión mágica
Para el modelo de difusión, proporcionamos la siguiente "magia":
3. Marco actualizado
Al utilizar MMEngine y MMCV del marco OpenMMLab 2.0, MMagic se ha actualizado con las siguientes características nuevas:
MMagic ha soportado todas las tareas, modelos, métricas y pérdidas en MMEditing y MMGeneration y unifica las interfaces de todos los componentes basados en MMEngine?.
Consulte changelog.md para obtener detalles y el historial de versiones.
Consulte los documentos de migración para migrar de la versión anterior MMEditing 0.x a la nueva versión MMagic 1.x.
MMagic ( C reación multimodal avanzada , generativa e inteligente ) es un conjunto de herramientas AIGC avanzado y completo que hereda de MMEditing y MMGeneration. Es una caja de herramientas de generación y edición de imágenes y videos de código abierto basada en PyTorch. Es parte del proyecto OpenMMLab.
Actualmente, MMagic admite múltiples tareas de generación/edición de imágenes y videos.
Modelos de última generación
MMagic proporciona modelos generativos de última generación para procesar, editar y sintetizar imágenes y vídeos.
Aplicaciones poderosas y populares
MMagic admite aplicaciones populares y contemporáneas de restauración de imágenes, texto a imagen, generación con reconocimiento 3D, pintura integrada, mate, superresolución y generación. Específicamente, MMagic admite ajustes finos para una difusión estable y muchas aplicaciones de difusión interesantes, como ControlNet Animation con SAM. MMagic también admite interpolación GAN, proyección GAN, manipulaciones GAN y muchas otras aplicaciones GAN populares. ¡Es hora de comenzar tu viaje de exploración AIGC!
Marco eficiente
Al utilizar MMEngine y MMCV del marco OpenMMLab 2.0, MMagic descompone el marco de edición en diferentes módulos y se puede construir fácilmente un marco de edición personalizado combinando diferentes módulos. Podemos definir el proceso de formación como jugar con Legos y proporcionar componentes y estrategias enriquecidos. En MMagic, puedes completar controles sobre el proceso de capacitación con diferentes niveles de API. Con el soporte de MMSeparateDistributedDataParallel, se puede implementar fácilmente la capacitación distribuida para arquitecturas dinámicas.
?Volver a la tabla de contenidos
Cada vez más contribuyentes de la comunidad se unen a nosotros para mejorar nuestro repositorio. Algunos proyectos recientes son aportados por la comunidad, entre ellos:
Proyectos está abierto para que sea más fácil para todos agregar proyectos a MMagic.
Agradecemos todas las contribuciones para mejorar MMagic. Consulte CONTRIBUTING.md en MMCV y CONTRIBUTING.md en MMEngine para obtener más detalles sobre la pauta de contribución.
?Volver a la tabla de contenidos
MMagic depende de PyTorch, MMEngine y MMCV. A continuación se detallan pasos rápidos para la instalación.
Paso 1. Instale PyTorch siguiendo las instrucciones oficiales.
Paso 2. Instale MMCV, MMEngine y MMagic con MIM.
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagicPaso 3. Verifique que MMagic se haya instalado correctamente.
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0Empezando
Después de instalar MMagic con éxito, ¡ahora puedes jugar con MMagic! Para generar una imagen a partir de texto, ¡solo necesitas varias líneas de códigos de MMagic!
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )Consulte la ejecución rápida y la inferencia para conocer el uso básico de MMagic.
Instalar MMagic desde la fuente
También puede experimentar con la última versión desarrollada en lugar de la versión estable instalando MMagic desde la fuente con los siguientes comandos:
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .Consulte la instalación para obtener instrucciones más detalladas.
?Volver a la tabla de contenidos
| GAN condicionales | GAN incondicionales | Restauración de Imagen | Superresolución de imagen |
|
|
|
|
| Superresolución de vídeo | Interpolación de vídeo | Colorización de imágenes | Traducción de imágenes |
|
|
|
|
| en pintura | Estera | Texto a imagen (vídeo) | Generación consciente del 3D |
|
|
|
|
Consulte model_zoo para obtener más detalles.
?Volver a la tabla de contenidos
MMagic es un proyecto de código abierto aportado por investigadores e ingenieros de varias universidades y empresas. Deseamos que la caja de herramientas y el punto de referencia puedan servir a la creciente comunidad de investigación proporcionando un conjunto de herramientas flexible para reimplementar métodos existentes y desarrollar sus propios métodos nuevos.
Apreciamos a todos los contribuyentes que implementan sus métodos o agregan nuevas funciones, así como a los usuarios que brindan comentarios valiosos. ¡Gracias a todos!
?Volver a la tabla de contenidos
Si MMagic es útil para su investigación, cítelo a continuación.
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?Volver a la tabla de contenidos
Este proyecto se publica bajo la licencia Apache 2.0. Consulte LICENCIAS para una verificación cuidadosa si está utilizando nuestro código para asuntos comerciales.
?Volver a la tabla de contenidos
?Volver a la tabla de contenidos
