Meta与沙特阿拉伯阿卜杜拉国王科技大学（KAUST）合作，推出了一款名为MarDini的全新视频扩散模型系列。该模型能够高效地完成多种视频生成任务，包括视频插值、图像到视频转换以及视频扩展，极大地简化了高质量视频创作流程。 MarDini采用规划模型和生成模型的结合，通过掩码自回归（MAR）方法和扩散过程，以更少的步骤生成高质量视频，在性能和效率上都展现出显着优势，为视频创作者提供了强大的工具，并设定了新的行业基准。
在去年的基础上，Meta 在生成AI 视频领域进一步发力。此前，它推出了Emu Video 和Emu Edit 等文本转视频和编辑模型。今年在发布MarDini 之前，还推出了先进的视频编辑器Movie Gen。由此可见，Meta 正在致力于为视频创作者提供更强大的工具。
MarDini 的强大之处在于它能够根据任意数量的遮罩帧进行视频生成，支持多种生成任务，比如视频插值、图像到视频的转换以及视频扩展。
图像到视频结果其中，MarDini 的主要应用是图像到视频的生成。通过使用放置在中间位置的一个参考帧作为条件输入，并生成16个额外的帧来演示此功能。在官方生成视频示例中，包含以8FPS 渲染的17帧，可生成流畅的2秒视频。
视频扩展结果MarDini 还能够通过调节任何时长的现有视频来扩展视频。我们通过从5帧参考视频生成2秒扩展，为每个序列添加12个新帧。
视频插值结果MarDini 通过使用第一帧和最后一帧作为调节信号生成中间帧来实现视频插值。当这些边界帧相同时，MarDini 可以创建无缝循环视频。
MarDini 的工作原理非常有趣。它采用了先进而高效的视频生成技术，主要由两个部分构成:规划模型和生成模型。首先，规划模型会利用掩码自回归（MAR）方法来解释低分辨率的输入帧，生成需要创建的帧的指导信号。然后，轻量级的生成模型通过扩散过程来生成高分辨率的详细帧，从而确保最终视频流畅且视觉效果良好。
与许多需要复杂预训练图像模型的视频模型不同，MarDini 声称可以从零开始使用未标记的视频数据进行训练。这是因为它采用了渐进式训练策略，通过灵活地调整训练过程中帧的掩码方式，使得模型能够更好地应对不同的帧配置。
MarDini 的一个显着特点就是其灵活性和性能。它不仅强大而且高效，适用于更大规模的任务。这个模型能够处理视频插值、图像转视频生成和视频扩展等多种任务，无论是平滑现有的视频片段，还是从头开始创建完整的序列，它都能游刃有余。
在性能方面，MarDini 设定了新的基准，以更少的步骤生成高质量视频，这使得它在成本和时间上都比更复杂的替代方案更具优势。官方研究论文指出，“我们的研究表明，我们的建模策略在多种插值和动画基准测试中表现出竞争力，同时在可比参数规模下降低了计算需求。”
项目入口：https://mardini-vidgen.github.io/
划重点:
MarDini 是Meta 与KAUST 合作推出的新一代视频生成模型，能够轻松完成多种视频创作任务。
该模型通过规划和生成模型的结合，实现了高效的视频插值和图像转视频生成。
MarDini 以较少的步骤生成高质量视频，显着提升了创作的灵活性与效率。
总而言之，MarDini 的出现标志着视频生成技术的一次显着进步，其高效的性能和灵活的应用场景为视频创作领域带来了新的可能性。 未来，MarDini 或许会在电影制作、动画制作以及其他需要视频生成的领域发挥更大的作用。