Исследования Alibaba's Tongyi Laboratory привели к прорывому прогрессу к способности генерации изображений литературных и биографических графических моделей. Они обнаружили, что существующая модель диффузионного трансформатора может генерировать многократные наборы с конкретными отношениями с небольшим количеством руководства, которые подрывают познание, которое традиционные диффузионные модели требуют массивной подготовки данных для создания высококачественных изображений. Ядром этого исследования является технология IC-Lora, которая эффективно активирует способность «контекстного обучения» модели, позволяя модели понять связь между изображениями и генерирует последовательность изображений с логической последовательности. Эта технология не только повышает эффективность и качество генерации изображений, но также снижает стоимость обучения модели, внося революционные изменения в области генерации изображений ИИ.
Традиционная диффузионная модель похожа на студент, а IC-Lora дает ему возможность учиться друг у друга. Умно шла, вкладывая несколько изображений в большое изображение и объединяя текст, чтобы описать его в длинную опору, исследователи позволяют модели обрабатывать информацию о нескольких изображениях одновременно и понимать взаимосвязь между изображениями. В то же время, тонкая настройка осуществляется благодаря небольшому количеству высококачественных коллекций картинок, исходные знания и способность к контекстному обучению модели сохраняются. В статье перечислены несколько экспериментальных случаев, ярко показывающих эффекты приложения IC-Lora в различных сценариях, таких как генерация изображений в комиксе, генерирование изображений различных выражений или сцен, основанных на существующих изображениях и т. Д. Появление IC-Lora снизило стоимость обучения моделей ИИ и позволило большему количеству людей участвовать в создании искусственного интеллекта. Адрес проекта: https://ali-vilab.github.io/in-context-lora-page/
Прогнозный прогресс технологии IC-LORA принесла новые возможности в область генерации изображений ИИ. В будущем, с постоянной зрелостью и улучшением технологий, мы можем рассчитывать на более инновационные приложения, основанные на IC-Lora и более широком применении ИИ в области художественного создания.