mmagic
v1.2.0 Release
Документация | Установка | Модельный зоопарк | ?Обновление новостей | Текущие проекты | ?Сообщить о проблемах
английский | 简体中文
Мы рады объявить о выпуске MMagic v1.0.0, унаследованного от MMEditing и MMGeneration.
После итеративных обновлений платформы OpenMMLab 2.0 и слияния с MMGeneration MMEditing стал мощным инструментом, поддерживающим низкоуровневые алгоритмы, основанные как на GAN, так и на CNN. Сегодня MMEditing использует генеративный искусственный интеллект и трансформируется в более продвинутый и всеобъемлющий набор инструментов AIGC: MMagic ( мультимодальное расширенное , генеративное и интеллектуальное творчество ). MMagic предоставит более гибкую экспериментальную поддержку исследователям и энтузиастам AIGC, а также поможет вам в вашем путешествии по исследованию AIGC.
Мы выделяем следующие новые возможности.
1. Новые модели
Мы поддерживаем 11 новых моделей в 4 новых задачах.
2. Модель магической диффузии.
Для модели диффузии мы предоставляем следующую «магию»:
3. Обновленная платформа
Используя MMEngine и MMCV платформы OpenMMLab 2.0, MMagic обновил следующие новые функции:
MMagic поддерживает все задачи, модели, метрики и потери в MMEditing и MMGeneration и унифицирует интерфейсы всех компонентов на базе MMEngine™.
Подробную информацию и историю выпусков можно найти на сайте Changelog.md.
Пожалуйста, обратитесь к документам по миграции, чтобы перейти со старой версии MMEditing 0.x на новую версию MMagic 1.x.
MMagic ( Мультимодальное расширенное , генеративное и интеллектуальное создание ) — это расширенный и всеобъемлющий набор инструментов AIGC, унаследованный от MMEditing и MMGeneration. Это набор инструментов для редактирования и создания изображений и видео с открытым исходным кодом, основанный на PyTorch. Это часть проекта OpenMMLab.
В настоящее время MMagic поддерживает множество задач создания/редактирования изображений и видео.
Современные модели
MMagic предоставляет современные генеративные модели для обработки, редактирования и синтеза изображений и видео.
Мощные и популярные приложения
MMagic поддерживает популярные и современные приложения для восстановления изображений, преобразования текста в изображение, создания 3D-изображений, рисования, матирования, сверхвысокого разрешения и приложений генерации. В частности, MMagic поддерживает тонкую настройку для стабильного распространения и многих интересных приложений диффузии, таких как ControlNet Animation с SAM. MMagic также поддерживает интерполяцию GAN, проекцию GAN, манипуляции GAN и многие другие популярные приложения GAN. Пришло время начать исследование AIGC!
Эффективная структура
Используя MMEngine и MMCV платформы OpenMMLab 2.0, MMagic разбивает структуру редактирования на различные модули, и можно легко создать индивидуальную структуру редактора, комбинируя различные модули. Мы можем определить процесс обучения так же, как игру с LEGO, и предоставить богатые компоненты и стратегии. В MMagic вы можете управлять процессом обучения с помощью API разных уровней. Благодаря поддержке MMSeparateDistributedDataParallel можно легко реализовать распределенное обучение для динамических архитектур.
?Вернуться к оглавлению
Все больше и больше участников сообщества присоединяются к нам, чтобы сделать наш репозиторий лучше. Сообщество внесло свой вклад в некоторые недавние проекты, в том числе:
Проекты открыты, чтобы всем было проще добавлять проекты в MMagic.
Мы ценим любой вклад в улучшение MMagic. Пожалуйста, обратитесь к CONTRIBUTING.md в MMCV и CONTRIBUTING.md в MMEngine для получения более подробной информации о правилах участия.
?Вернуться к оглавлению
MMagic зависит от PyTorch, MMEngine и MMCV. Ниже приведены быстрые шаги по установке.
Шаг 1. Установите PyTorch, следуя официальным инструкциям.
Шаг 2. Установите MMCV, MMEngine и MMagic с помощью MIM.
pip3 install openmim
mim install mmcv > =2.0.0
mim install mmengine
mim install mmagicШаг 3. Убедитесь, что MMagic успешно установлен.
cd ~
python -c " import mmagic; print(mmagic.__version__) "
# Example output: 1.0.0Начиная
После успешной установки MMagic теперь вы можете играть с MMagic! Чтобы сгенерировать изображение из текста, вам понадобится всего несколько строк кода от MMagic!
from mmagic . apis import MMagicInferencer
sd_inferencer = MMagicInferencer ( model_name = 'stable_diffusion' )
text_prompts = 'A panda is having dinner at KFC'
result_out_dir = 'output/sd_res.png'
sd_inferencer . infer ( text = text_prompts , result_out_dir = result_out_dir )Пожалуйста, ознакомьтесь с кратким описанием базового использования MMagic и выводами.
Установите MMagic из исходного кода
Вы также можете поэкспериментировать с последней разработанной версией, а не со стабильной версией, установив MMagic из исходного кода с помощью следующих команд:
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip3 install -e .Пожалуйста, обратитесь к разделу «Установка» для получения более подробных инструкций.
?Вернуться к оглавлению
| Условные GAN | Безусловные GAN | Восстановление изображения | Изображение сверхвысокого разрешения |
|
|
|
|
| Видео сверхвысокого разрешения | Видео интерполяция | Раскрашивание изображения | Перевод изображений |
|
|
|
|
| живопись | Матирование | Преобразование текста в изображение (видео) | Поколение с поддержкой 3D |
|
|
|
|
Пожалуйста, обратитесь к model_zoo для получения более подробной информации.
?Вернуться к оглавлению
MMagic — это проект с открытым исходным кодом, созданный исследователями и инженерами из различных колледжей и компаний. Мы хотим, чтобы набор инструментов и тест могли служить растущему исследовательскому сообществу, предоставляя гибкий набор инструментов для повторной реализации существующих методов и разработки собственных новых методов.
Мы ценим всех участников, которые реализуют свои методы или добавляют новые функции, а также пользователей, которые оставляют ценные отзывы. Спасибо всем!
?Вернуться к оглавлению
Если MMagic полезен для вашего исследования, укажите это, как показано ниже.
@misc { mmagic2023 ,
title = { {MMagic}: {OpenMMLab} Multimodal Advanced, Generative, and Intelligent Creation Toolbox } ,
author = { {MMagic Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmagic} } ,
year = { 2023 }
} @misc { mmediting2022 ,
title = { {MMEditing}: {OpenMMLab} Image and Video Editing Toolbox } ,
author = { {MMEditing Contributors} } ,
howpublished = { url{https://github.com/open-mmlab/mmediting} } ,
year = { 2022 }
}?Вернуться к оглавлению
Этот проект выпущен под лицензией Apache 2.0. Пожалуйста, обратитесь к разделу ЛИЦЕНЗИИ для тщательной проверки, если вы используете наш код в коммерческих целях.
?Вернуться к оглавлению
?Вернуться к оглавлению
