Инструмент управления созданием изображений/видео с открытым исходным кодом ControlNeXt от китайской команды Jiajiaya из Гонконга можно назвать «артефактом потери веса» в индустрии искусственного интеллекта. Он имеет небольшой размер, идеально совместим с моделями серии Stable Diffusion и поддерживает технологию Plug-and-Play, что значительно упрощает процесс эксплуатации. ControlNeXt поддерживает различные режимы управления, такие как ведение по краю, контроль позы, маскирование и контроль глубины резкости. Его мощные возможности управления могут даже точно контролировать танцевальные движения Железного Человека. Что еще более удивительно, так это то, что скорость обучения и генерации данных намного выше, чем у ControlNet, а эффективность значительно повышена.
ControlNeXt поддерживает различные режимы управления, включая ведение по краям, контроль положения, маскирование и контроль глубины резкости. Он даже может позволить Железному Человеку станцевать красивый танец с точными движениями вплоть до пальцев, демонстрируя свои мощные возможности контроля.
Секрет снижения веса ControlNeXt заключается в том, что он ловко удаляет ветку управления большим едоком в ControlNet и заменяет ее пакетом легкой еды, состоящим из небольшого количества блоков ResNet. Хотя размер этого небольшого и изысканного модуля составляет лишь одну десятую от его первоначального размера, он может прекрасно извлекать особенности различных условий управления.
Мало того, ControlNeXt еще и гений обучения. Чтобы освоить новый навык, требуется всего 400 шагов, в то время как ControlNet требует тысяч шагов. С точки зрения скорости генерации ControlNeXt даже лучше, обеспечивая задержку всего 10,4%, тогда как ControlNet требует целых 41,9%.
Еще одна уникальная способность ControlNeXt — перекрестная нормализация. Эта технология похожа на вечеринку по функциям, чтобы распределение их данных было максимально выровнено, что позволяет избежать чувствительности инициализации параметров и позволяет условиям управления вступить в силу в начале обучения.
ControlNeXt — это трансформер в мире искусственного интеллекта, маленький, гибкий, но мощный. Это не только позволяет двухмерной девушке идеально вписаться в контрольные линии, но и создает межпространственных персонажей в разных стилях. Я верю, что благодаря этому артефакту мы скоро сможем увидеть еще больше удивительных произведений ИИ!
Домашняя страница проекта: https://pbihao.github.io/projects/controlnext/index.html.
ControlNeXt открывает новые возможности в области создания изображений и видео с помощью искусственного интеллекта благодаря своим эффективным, легким и мощным возможностям управления. Его функции с открытым исходным кодом также позволяют разработчикам проводить более глубокие исследования и приложения. Я уверен, что в будущем на базе ControlNeXt появится больше инновационных приложений. Мы с нетерпением ждем, когда ControlNeXt засияет в области создания произведений искусства с помощью ИИ!