快手推出全新文本到視頻生成框架CineMaster,該框架具備3D感知能力,被譽為視頻版本的ControlNet,為用戶提供了前所未有的創作自由度。它允許用戶通過文本提示以及深度圖、相機軌跡、物體標籤等控制信號,精確控制視頻中物體的位置和相機運動,實現對生成視頻內容的精準把控。 這標誌著AI視頻生成技術邁向新的高度,將極大提升視頻創作效率和創意表達能力。
CineMaster 的核心優勢在於其強大的控制能力。用戶不僅可以通過傳統的文本提示來生成視頻,還能結合深度圖、相機軌跡、物體標籤等控制信號進行精細調整,從而創作出更具創意和個性化的作品。快手還提供了一套從大規模視頻中提取3D 邊界框和相機軌蹟的流程,為CineMaster 的訓練和應用提供了強大的數據支持。 CineMaster 的項目頁面已上線,感興趣的用戶可以訪問cinemaster-dev.github.io/。
CineMaster 的出現,預示著AI視頻生成領域即將迎來新的發展浪潮,其強大的控制能力和便捷的操作方式,必將為用戶帶來更豐富的創作體驗,並推動視頻內容創作的進一步發展。 期待未來CineMaster能帶來更多驚喜和創新。