塔米

塔米

Tammy 是一个基于 Python/Pytorch 的开源项目，使用深度学习模型生成原创音乐视频。它允许用户根据文本提示转换自动生成视频，这些视频与歌曲的各个方面（例如 BPM 或钢琴模式）同步。该项目在视频生成过程的各个阶段利用深度学习模型，包括使用 LSTM 进行音频源分离、使用 GAN 进行帧生成、使用超分辨率模型进行空间升级，以及使用帧插值模型进行时间上采样。该项目的目的是提供一个易于使用的框架来构建自定义模型管道以创建独特的音乐视频。

示例（打开音频！）

视频与音频.mp4

目录

特征
快速启动
数据流和代码结构
生成设置
更多示例
贡献

特征

• 全自动音乐视频生成。只需提供歌曲、文本提示和生成设置即可生成音乐视频。
• 多种动画模式：Animation_2d 和 Interpolation。
• 自动和延迟模型加载。例如，稳定扩散模型在使用时会自动获取，因此在安装包时无需手动安装任何库或等待所有模型下载完毕。

快速启动

快速开始：

1. 确保安装 ffmpeg 和 libsndfile sudo apt-get install ffmpeg libsndfile1和 git-lfs。
2. 克隆这个仓库
3. 通过运行pip install .
4. 运行python run_tammy.py它将使用settingssettings_cpu.yaml中的默认设置和默认歌曲thoughtsarebeings_clip.wav 。

tammy包可以轻松地在您自己的脚本或其他设置文件中使用，并且音频文件可以通过运行python run_tammy.py --settings_file --audio_path 与现有的run_tammy.py脚本一起使用python run_tammy.py --settings_file --audio_path .

数据流和代码结构

1. tammy.prompthandler根据生成设置的更简洁描述来生成每个要生成的帧的设置（例如翻译或文本提示）。
2. tammy.sequence_maker有一个generator ，可以根据文本提示生成图像序列。目前支持的模型有VQGAN-CLIP和Stable-Diffusion
3. tammy.upscaling以超分辨率放大生成的图像。目前唯一支持的模型是SwinIR 。
4. tammy.superslowmo对生成的（可选放大的）图像进行插值以提高 FPS，而无需使用sequence_maker生成每一帧。目前唯一支持的模型是SuperSloMo 。

生成设置

视频生成具有许多配置设置，这些设置在.yaml文件中指定。一些示例设置文件（主要用于测试）可以在settings文件夹中找到。大多数设置名称（ settings.yaml中的键）应该是不言自明的。为了清楚起见，下面解释了一些设置。

乐器

仪器用于控制帧过渡，特别是：Animation_2d 模式中的缩放和插值模式中的提示过渡速度。 tammy有两种提供仪器的选择：

1. 自动使用 Spleeter 源分离：设置do_spleet: True并提供instrument:
2. 手动通过在设置文件中提供关键帧文件zoom_instrument: 并将文件命名为: file_name_fps.txt其中fps应与sequence_settings.initial_fps中的fps值相对应。关键帧可以手动生成，例如 https://www.chigozie.co.uk/audio-keyframe-generator/

帧速率和视频长度

设置sequence_settings.initial_fps确定在给定音频剪辑长度的情况下生成的帧数。通过使用帧插值，可以通过设置do_slowmo: True并提供target_fps来将帧速率增加到目标，该 target_fps 必须是initial_fps的倍数。与使用generator从头开始生成所有帧相比，这可以更快地生成高帧率视频。

如果需要，可以通过提供sequence_settings.max_frames来限制生成的帧的数量。在这种情况下，生成的视频长度将比提供的音频剪辑短，并且为： max_frames / initial_fps 。

更多示例

使用tammy的 VQGAN-CLIP 和 Animation_2d 模式生成的视频。

toughts_being_downscale_2.mp4

完整视频（以 4K 观看以获得最佳体验！：https://www.youtube.com/watch?v=T_bii9VLDk0

使用tammy的稳定扩散和插值模式生成的视频。

视频与音频.mp4

视频与音频.mp4

贡献

1. 请遵循快速启动中的安装指南。
2. 对您提议的功能提出问题。
3. 在名为的新分支中添加您的功能和随附的测试。
4. 通过运行pytest确保所有测试都通过。
5. 安装所需的预提交挂钩： pre-commit install 。
6. 发出拉取请求以合并到 main 中并请求审核。