홍콩 중국 Jiajiaya 팀이 개발한 오픈 소스 ControlNeXt 이미지/비디오 생성 안내 도구는 AI 업계에서 '체중 감량 유물'이라고 부를 수 있습니다. 크기가 작고 Stable Diffusion 시리즈 모델과 완벽하게 호환되며 플러그 앤 플레이 방식으로 작동 프로세스가 크게 단순화됩니다. ControlNeXt는 엣지 가이던스, 자세 제어, 마스킹, 피사계 심도 제어 등 다양한 제어 모드를 지원하며, 강력한 제어 기능으로 아이언맨의 댄스 동작까지 정확하게 제어할 수 있습니다. 더욱 놀라운 점은 훈련 속도와 생성 속도가 ControlNet보다 훨씬 빠르며 효율성도 크게 향상된다는 점입니다.
ControlNeXt는 가장자리 안내, 자세 제어, 마스킹 및 피사계 심도 제어를 포함한 다양한 제어 모드를 지원합니다. 심지어 아이언맨이 손가락까지 정확한 움직임으로 아름다운 춤을 추게 하여 그의 강력한 제어 능력을 보여줍니다.
ControlNeXt의 체중 감량 비결은 ControlNet의 대식가 제어 분기를 교묘하게 제거하고 이를 소수의 ResNet 블록으로 구성된 가벼운 식사 패키지로 대체한다는 것입니다. 이 작고 정교한 모듈은 원래 크기의 1/10에 불과하지만 다양한 제어 조건의 특징을 완벽하게 추출할 수 있습니다.
뿐만 아니라 ControlNeXt는 학습 천재이기도 합니다. 새로운 기술을 배우려면 400단계만 거치는 반면 ControlNet은 수천 단계를 거치게 됩니다. 생성 속도 측면에서 ControlNeXt는 훨씬 더 뛰어나서 10.4% 지연만 가져오는 반면 ControlNet은 전체 41.9%를 필요로 합니다.
ControlNeXt의 또 다른 독특한 기술은 교차 정규화입니다. 이 기술은 기능에 대한 파티를 여는 것과 같기 때문에 데이터 분포가 최대한 정렬되어 매개변수 초기화의 민감도를 피하고 훈련 시작 시 제어 조건이 적용될 수 있도록 합니다.
ControlNeXt는 작고 유연하면서도 강력한 AI 세계의 트랜스포머와 같습니다. 이는 2차원 소녀의 컨트롤 라인을 완벽하게 맞출 수 있을 뿐만 아니라, 다양한 스타일의 크로스차원 캐릭터를 만들어낸다. 이 유물을 통해 우리는 곧 더 놀라운 AI 작품을 볼 수 있을 것이라고 믿습니다!
프로젝트 홈페이지: https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt는 효율적이고 가벼우며 강력한 제어 기능을 통해 AI 이미지/비디오 생성 분야에 새로운 가능성을 제공합니다. 또한 오픈 소스 기능을 통해 개발자는 더욱 심층적인 연구와 애플리케이션을 수행할 수 있으며 앞으로 ControlNeXt를 기반으로 하는 더욱 혁신적인 애플리케이션이 나올 것이라고 믿습니다. AI 아트 창작 분야에서 빛나는 ControlNeXt를 기대합니다!