Les recherches du laboratoire de Tongyi d'Alibaba ont apporté des progrès révolutionnaires à la capacité de génération d'images des modèles graphiques littéraires et biographiques. Ils ont constaté que le modèle de transformateur de diffusion existant peut générer des ensembles multi-images avec des relations spécifiques avec juste une petite quantité de guidage, ce qui subvertit la cognition selon laquelle les modèles de diffusion traditionnels nécessitent une formation massive de données pour générer des images de haute qualité. Le noyau de cette étude est la technologie IC-Lora, qui active efficacement la capacité de "l'apprentissage du contexte" du modèle, permettant au modèle de comprendre l'association entre les images et génère une séquence d'images avec une cohérence logique. Cette technologie améliore non seulement l'efficacité et la qualité de la génération d'images, mais réduit également le coût de la formation des modèles, apportant des changements révolutionnaires dans le domaine de la génération d'images de l'IA.
Le modèle de diffusion traditionnel est comme un étudiant par cœur, et IC-Lora lui donne la possibilité d'apprendre les uns des autres. En épissant intelligemment plusieurs images en une grande image et en combinant du texte pour les décrire en un long accessoire, les chercheurs permettent au modèle de traiter les informations de plusieurs images en même temps et de comprendre la relation entre les images. Dans le même temps, le réglage fin est effectué à travers un petit nombre de collections d'images de haute qualité, les connaissances originales et la capacité d'apprentissage du contexte du modèle sont conservées. L'article répertorie plusieurs cas expérimentaux, montrant de façon vivante les effets d'application d'IC-Lora dans différents scénarios, tels que la génération d'images de style bande dessinée, la génération d'images de différentes expressions ou scènes basées sur des images existantes, etc. L'émergence d'IC-Lora a réduit le coût de formation des modèles d'IA et a permis à plus de personnes de participer à la création de l'IA. Adresse du projet: https://ali-vilab.github.io/in-context-lora-page/
La progression révolutionnaire de la technologie IC-Lora a apporté de nouvelles possibilités dans le domaine de la génération d'images de l'IA. À l'avenir, avec la maturité continue et l'amélioration de la technologie, nous pouvons nous attendre à des applications plus innovantes basées sur IC-Lora et l'application plus large de l'IA dans le domaine de la création artistique.