A pesquisa do Alibaba Tongyi Laboratory trouxe progresso inovador para a capacidade de geração de imagens dos modelos gráficos literários e biográficos. Eles descobriram que o modelo de transformador de difusão existente pode gerar conjuntos de várias imagens com relacionamentos específicos com apenas uma pequena quantidade de orientação, que subverte a cognição de que os modelos de difusão tradicionais exigem treinamento maciço de dados para gerar imagens de alta qualidade. O núcleo deste estudo é a tecnologia IC-Lora, que ativa efetivamente a capacidade de "aprendizado de contexto" do modelo, permitindo que o modelo compreenda a associação entre imagens e gera uma sequência de imagens com consistência lógica. Essa tecnologia não apenas melhora a eficiência e a qualidade da geração de imagens, mas também reduz o custo do treinamento do modelo, trazendo mudanças revolucionárias ao campo da geração de imagens da IA.
O modelo de difusão tradicional é como um aluno rotativo, e o IC-Lora oferece a capacidade de aprender um com o outro. Ao ceder inteligentemente várias imagens em uma imagem grande e combinar texto para descrevê -la em um longo suporte, os pesquisadores permitem que o modelo processe as informações de várias imagens ao mesmo tempo e compreenda a relação entre imagens. Ao mesmo tempo, o ajuste fino é realizado através de um pequeno número de coleções de imagens de alta qualidade, o conhecimento original e a capacidade de aprendizado de contexto do modelo são retidos. O artigo lista vários casos experimentais, mostrando vividamente os efeitos da aplicação do IC-LORA em diferentes cenários, como gerar imagens em estilo cômico, gerar imagens de diferentes expressões ou cenas com base em imagens existentes, etc. O surgimento de IC-Lora reduziu o custo de treinamento dos modelos de IA e permitiu que mais pessoas participassem da criação de IA. Endereço do projeto: https://ali-vilab.github.io/in-context-lora-page/
O progresso inovador da tecnologia IC-Lora trouxe novas possibilidades ao campo da geração de imagens da IA. No futuro, com a maturidade e a melhoria contínua da tecnologia, podemos esperar aplicativos mais inovadores com base no IC-Lora e na aplicação mais ampla da IA no campo da criação artística.