高效生成高质量长视频一直是计算机视觉领域的一大挑战。 Meta AI 研究人员针对现有扩散Transformer模型（DiTs）推理速度慢的问题，提出了一种名为AdaCache 的免训练加速方法。 AdaCache 巧妙地利用视频内容差异，针对每个视频定制缓存策略，并引入运动正则化方案，根据视频运动内容动态分配计算资源，从而在保证生成质量的同时显着提升推理速度。
生成高质量、时间连续的视频需要大量的计算资源，尤其是对于较长的时间跨度而言。最新的扩散Transformer 模型（DiTs）虽然在视频生成方面取得了显着进展，但由于其依赖于更大的模型和更复杂的注意力机制，导致推理速度较慢，反而加剧了这一挑战。为了解决这个问题，Meta AI 的研究人员提出了一种名为AdaCache 的免训练方法来加速视频DiTs。
AdaCache 的核心思想是基于“并非所有视频都相同”这一事实，这意味着某些视频比其他视频需要更少的去噪步骤即可达到合理的质量。 基于此，该方法不仅在扩散过程中缓存计算结果，还针对每个视频生成设计了定制化的缓存策略，从而最大限度地优化质量和延迟之间的权衡。
研究人员进一步引入了运动正则化（MoReg）方案，利用AdaCache 中的视频信息，根据运动内容控制计算资源的分配。 由于包含高频纹理和大量运动内容的视频序列需要更多的扩散步骤才能达到合理的质量，所以MoReg 可以更好地分配计算资源。
实验结果表明，AdaCache 可以显着提高推理速度（例如，在Open-Sora720p -2s 视频生成中速度提升高达4.7倍），而不会牺牲生成质量。 此外，AdaCache 还具有良好的泛化能力，可以应用于不同的视频DiT 模型，例如Open-Sora、Open-Sora-Plan 和Latte。 与其他免训练加速方法(例如∆-DiT、T-GATE 和PAB)相比，AdaCache 在速度和质量方面都具有显着优势。
用户研究表明，与其他方法相比，用户更喜欢AdaCache 生成的视频，并且认为其质量与基准模型相当。 这项研究证实了AdaCache 的有效性，并为高效视频生成领域做出了重要贡献。 Meta AI 相信AdaCache 可以广泛应用，并推动高保真长视频生成的普及化。
论文:https://arxiv.org/abs/2411.02397
项目主页:
https://adacache-dit.github.io/
GitHub:
https://github.com/AdaCache-DiT/AdaCache
总而言之，AdaCache 作为一种高效的视频生成加速方法，为高保真长视频的生成提供了新的可能性，其显着的性能提升和良好的用户体验使其在未来应用中具有广阔前景。 Meta AI 的这项研究为高效视频生成领域带来了重要突破。