Отчет редактора Downcodes: Новейшая технология портретной анимации ByteDance, X-Portrait2, привлекла широкое внимание благодаря своим сверхдешевым и эффективным возможностям создания анимации. Эта технология позволяет создавать реалистичные, выразительные анимационные видеоролики, используя только статические портретные изображения и видеоролики, ориентированные на производительность, что значительно упрощает традиционный процесс производства анимации. Суть X-Portrait2 заключается в усовершенствованной модели кодировщика выражений, которая может точно фиксировать и передавать малейшие выражения, такие как надувание губ и высовывание языка, могут быть прекрасно представлены, сохраняя при этом высокую эмоциональность. Ожидается, что эта технология принесет революционные изменения в таких областях, как анимационные фильмы и виртуальные агенты.
В основе технологии лежит усовершенствованная модель кодировщика выражений, которая обучена на крупномасштабных наборах данных для неявного кодирования крошечных выражений на входе. В сочетании с мощной моделью генеративной диффузии X-Portrait2 может создавать плавные и очень выразительные видеоролики, передавая едва уловимую мимику актеров, даже сложные выражения, такие как надувание губ, высовывание языка, надувание щек и нахмуривание бровей. В то же время созданные видео также сохраняют высокую точность эмоционального выражения.
При обучении кодировщика выражений команда разработчиков обеспечивает четкое разделение внешнего вида и движения, что позволяет кодировщику сосредоточиться на информации, связанной с выражением лица, в видео. Такая конструкция позволяет модели обеспечивать перенос выражений между стилями и доменами, что подходит для различных сценариев, таких как реалистичное повествование, анимация персонажей, виртуальные агенты и визуальные эффекты.
По сравнению с существующими современными методами, такими как X-Portrait и Runway Act-One, X-Portrait2 демонстрирует более высокую точность при быстрых движениях головы, небольших изменениях выражения лица и передаче личных эмоций, что имеет решающее значение для высококачественного анимационного фильма. создание контента имеет решающее значение, например, в анимации и кинопроизводстве.
Адрес: https://byteaigc.github.io/X-Portrait2/
Ожидается, что благодаря своим эффективным и высокоточным возможностям создания анимации X-Portrait2 станет важным технологическим прорывом в области производства анимации, предоставляя создателям более удобные и мощные инструменты. Мы с нетерпением ожидаем, что X-Portrait2 будет использоваться в большем количестве областей в будущем и принесет нам больше захватывающих анимационных работ.