mmagic
v1.2.0 Release
문서 | 설치 | 모델동물원 | ?업데이트 뉴스 | 진행중인 프로젝트 | ?보고 문제
영어 | 简体中文
MMEditing 및 MMGeneration을 상속받은 MMagic v1.0.0의 출시를 발표하게 되어 기쁘게 생각합니다.
OpenMMLab 2.0 프레임워크의 반복적인 업데이트와 MMGeneration과 병합된 후 MMEditing은 GAN과 CNN을 기반으로 하는 하위 수준 알고리즘을 지원하는 강력한 도구가 되었습니다. 오늘날 MMEditing은 Generative AI를 수용하고 더욱 발전되고 포괄적인 AIGC 툴킷인 MMagic ( M ultimodal A Advanced, G enerative, I ntelligent C reation)으로 전환되었습니다. MMagic은 연구원과 AIGC 애호가에게 보다 민첩하고 유연한 실험 지원을 제공하고 AIGC 탐사 여정에 도움을 줄 것입니다.
우리는 다음과 같은 새로운 기능을 강조합니다.
1. 새로운 모델
우리는 4개의 새로운 작업에서 11개의 새로운 모델을 지원합니다.
2. 마법 확산 모델
확산 모델의 경우 다음과 같은 "마법"을 제공합니다.
3. 업그레이드된 프레임워크
OpenMMLab 2.0 프레임워크의 MMEngine 및 MMCV를 사용하여 MMagic은 다음과 같은 새로운 기능을 업그레이드했습니다.
MMagic은 MMEditing 및 MMGeneration의 모든 작업, 모델, 메트릭 및 손실을 지원하고 MMEngine?을 기반으로 모든 구성 요소의 인터페이스를 통합합니다.
자세한 내용과 릴리스 내역은 Changelog.md를 참조하세요.
이전 버전 MMEditing 0.x에서 새 버전 MMagic 1.x로 마이그레이션하려면 마이그레이션 문서를 참조하세요.
MMagic(다중 모드 고급 , 생성 및 지능적 생성 )은 MMEditing 및 MMGeneration을 상속한 고급 종합 AIGC 툴킷입니다. PyTorch를 기반으로 하는 오픈 소스 이미지 및 비디오 편집 및 생성 도구 상자입니다. OpenMMLab 프로젝트의 일부입니다.
현재 MMagic은 다양한 이미지 및 비디오 생성/편집 작업을 지원합니다.
최첨단 모델
MMagic은 이미지와 비디오를 처리, 편집 및 합성할 수 있는 최첨단 생성 모델을 제공합니다.
강력하고 인기 있는 애플리케이션
MMagic은 대중적이고 현대적인 이미지 복원, 텍스트-이미지 변환, 3D 인식 생성, 인페인팅, 매트, 초해상도 및 생성 애플리케이션을 지원합니다. 특히 MMagic은 안정적인 확산을 위한 미세 조정과 SAM을 사용한 ControlNet Animation과 같은 다양한 흥미로운 확산 애플리케이션을 지원합니다. MMagic은 GAN 보간, GAN 투영, GAN 조작 및 기타 널리 사용되는 GAN 애플리케이션도 지원합니다. 이제 AIGC 탐험 여행을 시작할 시간입니다!
효율적인 프레임워크
MMagic은 OpenMMLab 2.0 프레임워크의 MMEngine과 MMCV를 사용하여 편집 프레임워크를 여러 모듈로 분해하고, 다양한 모듈을 결합하여 맞춤형 편집기 프레임워크를 쉽게 구성할 수 있습니다. 마치 레고를 가지고 노는 것처럼 훈련 과정을 정의하고 풍부한 구성 요소와 전략을 제공할 수 있습니다. MMagic에서는 다양한 수준의 API를 사용하여 학습 프로세스를 완벽하게 제어할 수 있습니다. MMSeparateDistributedDataParallel의 지원을 통해 동적 아키텍처에 대한 분산 교육을 쉽게 구현할 수 있습니다.
?목차로 돌아가기
우리의 리포지토리를 개선하기 위해 점점 더 많은 커뮤니티 기여자가 우리와 함께하고 있습니다. 최근 일부 프로젝트는 다음을 포함하여 커뮤니티에서 기여했습니다.
모든 사람이 MMagic에 프로젝트를 더 쉽게 추가할 수 있도록 프로젝트가 열립니다.
MMagic 개선을 위한 모든 기여에 감사드립니다. 기여 지침에 대한 자세한 내용은 MMCV의 CONTRIBUTING.md 및 MMEngine의 CONTRIBUTING.md를 참조하세요.
?목차로 돌아가기
MMagic은 PyTorch, MMEngine 및 MMCV에 의존합니다. 다음은 설치를 위한 빠른 단계입니다.
1단계. 공식 지침에 따라 PyTorch를 설치합니다.
2단계. MIM을 사용하여 MMCV, MMEngine 및 MMagic을 설치합니다.
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagic3단계. MMagic이 성공적으로 설치되었는지 확인합니다.
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0시작하기
MMagic을 성공적으로 설치한 후 이제 MMagic을 사용할 수 있습니다! 텍스트에서 이미지를 생성하려면 MMagic의 코드 몇 줄만 있으면 됩니다!
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )MMagic의 기본 사용법은 빠른 실행 및 추론을 참조하세요.
소스에서 MMagic 설치
다음 명령을 사용하여 소스에서 MMagic을 설치하여 안정적인 릴리스가 아닌 최신 개발 버전을 실험해 볼 수도 있습니다.
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .자세한 지침은 설치를 참조하십시오.
?목차로 돌아가기
| 조건부 GAN | 무조건적인 GAN | 이미지 복원 | 이미지 초해상도 |
|
|
|
|
| 비디오 초해상도 | 비디오 보간 | 이미지 색상화 | 이미지 번역 |
|
|
|
|
| 인페인팅 | 매트 재료 | 텍스트-이미지(비디오) | 3D 인식 세대 |
|
|
|
|
자세한 내용은 model_zoo를 참조하세요.
?목차로 돌아가기
MMagic은 다양한 대학과 기업의 연구원과 엔지니어가 기여하는 오픈 소스 프로젝트입니다. 우리는 도구 상자와 벤치마크가 기존 방법을 다시 구현하고 고유한 새로운 방법을 개발할 수 있는 유연한 도구 키트를 제공함으로써 성장하는 연구 커뮤니티에 도움이 되기를 바랍니다.
자신의 방법을 구현하거나 새로운 기능을 추가한 모든 기여자와 귀중한 피드백을 제공한 사용자에게 감사드립니다. 모두 감사합니다!
?목차로 돌아가기
MMagic이 귀하의 연구에 도움이 되었다면 아래와 같이 인용해주세요.
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?목차로 돌아가기
이 프로젝트는 Apache 2.0 라이센스에 따라 릴리스됩니다. 상업적 목적으로 당사 코드를 사용하는 경우 면밀한 확인을 위해 라이센스를 참조하십시오.
?목차로 돌아가기
?목차로 돌아가기
