mmagic
v1.2.0 Release
Documentação | Instalação | Zoológico modelo | ?Atualizar notícias | Projetos em andamento | ?Relatando problemas
Inglês | 简体中文
Temos o prazer de anunciar o lançamento do MMagic v1.0.0, que herda do MMEditing e do MMGeneration.
Após atualizações iterativas com a estrutura OpenMMLab 2.0 e fusão com MMGeneration, MMEditing se tornou uma ferramenta poderosa que suporta algoritmos de baixo nível baseados em GAN e CNN. Hoje, o MMEditing adota a IA generativa e se transforma em um kit de ferramentas AIGC mais avançado e abrangente: MMagic ( criação multimodal avançada, generativa e inteligente ). MMagic fornecerá suporte experimental mais ágil e flexível para pesquisadores e entusiastas de AIGC e ajudará você em sua jornada de exploração de AIGC.
Destacamos os seguintes novos recursos.
1. Novos modelos
Apoiamos 11 novos modelos em 4 novas tarefas.
2. Modelo de Difusão Mágica
Para o modelo de difusão, fornecemos a seguinte "mágica":
3. Estrutura atualizada
Ao usar MMEngine e MMCV da estrutura OpenMMLab 2.0, MMagic atualizou os seguintes novos recursos:
MMagic suporta todas as tarefas, modelos, métricas e perdas em MMEditing e MMGeneration e unifica interfaces de todos os componentes baseados em MMEngine?.
Consulte changelog.md para obter detalhes e histórico de lançamento.
Consulte os documentos de migração para migrar da versão antiga MMEditing 0.x para a nova versão MMagic 1.x.
MMagic ( M ultimomodal Advanced , G erative, and Intelligent C reation) é um kit de ferramentas AIGC avançado e abrangente que herda de MMEditing e MMGeneration. É uma caixa de ferramentas de código aberto para edição e geração de imagens e vídeos baseada em PyTorch. Faz parte do projeto OpenMMLab.
Atualmente, MMagic suporta múltiplas tarefas de geração/edição de imagens e vídeos.
Modelos de última geração
MMagic fornece modelos generativos de última geração para processar, editar e sintetizar imagens e vídeos.
Aplicativos poderosos e populares
MMagic suporta restauração de imagens populares e contemporâneas, conversão de texto em imagem, geração com reconhecimento de 3D, pintura interna, fosqueamento, super-resolução e aplicativos de geração. Especificamente, MMagic suporta ajuste fino para difusão estável e muitas aplicações de difusão interessantes, como ControlNet Animation com SAM. MMagic também suporta interpolação GAN, projeção GAN, manipulações GAN e muitas outras aplicações populares de GAN. É hora de começar sua jornada de exploração AIGC!
Estrutura Eficiente
Ao usar MMEngine e MMCV da estrutura OpenMMLab 2.0, MMagic decompõe a estrutura de edição em diferentes módulos e pode-se facilmente construir uma estrutura de editor personalizada combinando diferentes módulos. Podemos definir o processo de treinamento como brincar com Legos e fornecer componentes e estratégias ricos. No MMagic, você pode completar controles no processo de treinamento com diferentes níveis de APIs. Com o suporte de MMSeparateDistributedDataParallel, o treinamento distribuído para arquiteturas dinâmicas pode ser facilmente implementado.
?Voltar ao índice
Cada vez mais colaboradores da comunidade estão se juntando a nós para melhorar nosso repositório. Alguns projetos recentes são contribuídos pela comunidade, incluindo:
Os projetos são abertos para facilitar a adição de projetos ao MMagic por todos.
Agradecemos todas as contribuições para melhorar o MMagic. Consulte CONTRIBUTING.md no MMCV e CONTRIBUTING.md no MMEngine para obter mais detalhes sobre a diretriz de contribuição.
?Voltar ao índice
MMagic depende de PyTorch, MMEngine e MMCV. Abaixo estão as etapas rápidas para instalação.
Passo 1. Instale o PyTorch seguindo as instruções oficiais.
Etapa 2. Instale MMCV, MMEngine e MMagic com MIM.
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagicEtapa 3. Verifique se o MMagic foi instalado com sucesso.
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0Começando
Depois de instalar o MMagic com sucesso, agora você pode jogar com o MMagic! Para gerar uma imagem a partir de texto, você só precisa de algumas linhas de códigos do MMagic!
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )Consulte a execução rápida e inferência para o uso básico do MMagic.
Instale MMagic da fonte
Você também pode experimentar a versão desenvolvida mais recente, em vez da versão estável, instalando o MMagic a partir do código-fonte com os seguintes comandos:
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .Consulte a instalação para obter instruções mais detalhadas.
?Voltar ao índice
| GANs condicionais | GANs incondicionais | Restauração de imagem | Super-resolução de imagem |
|
|
|
|
| Super-resolução de vídeo | Interpolação de vídeo | Colorização de imagens | Tradução de imagens |
|
|
|
|
| Pintura | Esteiras | Texto para imagem (vídeo) | Geração com reconhecimento 3D |
|
|
|
|
Consulte model_zoo para obter mais detalhes.
?Voltar ao índice
MMagic é um projeto de código aberto que conta com a contribuição de pesquisadores e engenheiros de diversas faculdades e empresas. Desejamos que a caixa de ferramentas e o benchmark possam servir a crescente comunidade de investigação, fornecendo um kit de ferramentas flexível para reimplementar métodos existentes e desenvolver os seus próprios novos métodos.
Agradecemos a todos os colaboradores que implementam seus métodos ou adicionam novos recursos, bem como aos usuários que fornecem feedbacks valiosos. Obrigado a todos!
?Voltar ao índice
Se MMagic for útil para sua pesquisa, cite-o conforme abaixo.
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?Voltar ao índice
Este projeto é lançado sob a licença Apache 2.0. Consulte LICENÇAS para uma verificação cuidadosa, se você estiver usando nosso código para assuntos comerciais.
?Voltar ao índice
?Voltar ao índice
