近日,香港大學與字節跳動合作研發的基於流動的視頻生成模型Goku 正式發布。該模型利用先進的生成算法,可以根據文本提示生成高質量的視頻內容,極大地豐富了數字藝術的表現形式。
為了展示Goku 模型的強大功能,研究團隊製作了一系列精彩的視頻示例,這些示例不僅展示了模型的技術能力,也展現了其在創意表現上的無限潛力。
Goku 模型的特點在於其高效的生成速度和圖像質量。通過使用大量的數據訓練,Goku 可以生成包括動畫、自然風光、動物行為等多種場景。研究人員使用了原版的MovieGenBench 提示進行測試,確保了演示效果的一致性和公平性。
例如,其中一個視頻展示了一位時尚女性在東京街頭自信地漫步,街道上五光十色的霓虹燈映襯出溫暖的夜色,行人熙熙攘攘,場景生動而真實。
另外一段視頻則展示了數隻巨型猛獁像在雪地上悠然走過,周圍雪山和樹林的襯托,讓人彷彿置身於冰雪世界中。這些生動的場景不僅吸引觀眾的眼球,也為藝術創作者提供了豐富的靈感。
更讓人驚豔的是,Goku 還支持直接生成虛擬數字人視頻。 Goku+將文本轉換為超現實的人類視頻,明顯優於現有的方法。特別是,它可以生成超過20秒的視頻,以穩定的手部動作和人類受試者極具表現力的面部和身體動作為特色。
另外支持從產品圖片生成和人物互動視頻,保持產品樣式以及生成產品展示視頻,可以從文本生成廣告視頻等功能。
如下圖:Goku+將產品圖片轉化為引人入勝的視頻片段,確保端到端的優化。這一過程增強了您的營銷材料的吸引力和有效性。
如下圖:製作逼真且極具吸引力的視頻,專門展示特定產品。這些視頻有效地捕捉了產品的精髓,提高了觀眾的參與度和興趣。
另外,模型支持文本創建定制的高清視頻,以優化廣告場景,明顯優於競爭對手的視頻基礎模型。
項目入口:https://saiyan-world.github.io/goku/