A ferramenta de orientação de geração de imagem/vídeo ControlNeXt de código aberto da equipe chinesa Jiajiaya de Hong Kong pode ser chamada de "artefato de perda de peso" na indústria de IA. É pequeno em tamanho, perfeitamente compatível com os modelos da série Stable Diffusion e é plug-and-play, simplificando muito o processo de operação. ControlNeXt suporta uma variedade de modos de controle, como orientação de borda, controle de postura, mascaramento e controle de profundidade de campo. Seus poderosos recursos de controle podem até controlar com precisão os movimentos de dança do Homem de Ferro. O que é ainda mais surpreendente é que sua velocidade de treinamento e geração são muito mais rápidas do que o ControlNet, e sua eficiência é bastante melhorada.
ControlNeXt oferece suporte a uma variedade de modos de controle, incluindo orientação de borda, controle de postura, mascaramento e controle de profundidade de campo. Pode até deixar o Homem de Ferro dançar uma bela dança com movimentos precisos até os dedos, demonstrando suas poderosas capacidades de controle.
O segredo da perda de peso do ControlNeXt é que ele remove habilmente o ramo de controle do grande comedor no ControlNet e o substitui por um pacote de refeição leve composto por um pequeno número de blocos ResNet. Embora este módulo pequeno e requintado tenha apenas um décimo de seu tamanho original, ele pode extrair perfeitamente recursos de várias condições de controle.
Além disso, o ControlNeXt também é um gênio do aprendizado. São necessários apenas 400 passos para aprender uma nova habilidade, enquanto o ControlNet dá milhares de passos. Em termos de velocidade de geração, o ControlNeXt é ainda melhor, trazendo apenas 10,4% de atraso, enquanto o ControlNet requer 41,9%.
Outra habilidade única do ControlNeXt é a normalização cruzada. Essa tecnologia é como uma festa para os recursos, para que suas distribuições de dados fiquem o mais alinhadas possível, evitando assim a sensibilidade da inicialização dos parâmetros e permitindo que as condições de controle entrem em vigor no início do treinamento.
ControlNeXt é como um Transformer no mundo da IA, pequeno e flexível, mas poderoso. Ele não apenas permite que a garota bidimensional se encaixe perfeitamente nas linhas de controle, mas também cria personagens multidimensionais com estilos diferentes. Com este artefato, acredito que poderemos ver mais obras de arte incríveis de IA em breve!
Página inicial do projeto: https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt traz novas possibilidades para o campo de geração de imagens/vídeos de IA com seus recursos de controle eficientes, leves e poderosos. Seus recursos de código aberto também facilitam que os desenvolvedores conduzam pesquisas e aplicações mais aprofundadas. Acredito que haverá mais aplicações inovadoras baseadas no ControlNeXt no futuro. Estamos ansiosos para que o ControlNeXt brilhe no campo da criação artística de IA!