这是 Genmoai txt2video 模型的一个正在进行中的分支，经过优化，可以在具有减少的 VRAM 的单个 GPU 节点上运行。
48GB 的性能相当强大，但现在应该只能使用单个 24GB GPU 来运行。
不要超过 61 帧并尝试 640x480。 VRAM 主要使用帧数和分辨率。推理步骤不应改变 VRAM 使用，但创建视频所需的时间会随着步骤而变化。 100 步似乎没问题，可能需要 15-25 分钟。原始源使用了 200 个步骤，但这将花费大约两倍的时间。
Windows 尚未测试，但它可能可以工作吗？ ˙ (ツ) /˙
如果您的系统已经使用 VRAM 来运行桌面，您可能需要进一步降低设置。
大多数情况下，只是在不需要时将 vae、te、dit 等来回转移到 cpu，并在各处使用 bfloat16。这可能需要大量的系统 RAM (~64GB)，或者如果系统 RAM <=32G 因为 T5 和 DIT 仍然相当大，则如果必须恢复使用页面文件，则可能会特别慢。与 DIT 步骤中花费的推理时间相比，来回移动模型的时间相当短。
进一步优化...也许是bitsandbytes NF4。假设它不会破坏输出质量，这可能会将其降至 16GB 或更少。可以尝试看看我是否可以注入第一帧图像以使其执行 img2video。
博客 |拥抱脸|游乐场|职业机会
Genmo 最先进的视频生成模型。
Mochi 1预览版是一个开放的最先进的视频生成模型，具有高保真度运动和初步评估中强烈的即时依从性。该模型极大地缩小了封闭式和开放式视频生成系统之间的差距。我们将在宽松的 Apache 2.0 许可证下发布该模型。在我们的游乐场上免费尝试这个模型。
使用 uv 安装：
git clone https://github.com/genmoai/models
cd models
pip install uv
uv venv .venv
source .venv/bin/activate
uv pip install -e . 从 Hugging Face 或通过magnet:?xt=urn:btih:441da1af7a16bcaa4f556964f8028d7113d21cbb&dn=weights&tr=udp://tracker.opentrackr.org:1337/announce到计算机上的文件夹。
启动渐变 UI
python3 -m mochi_preview.gradio_ui --model_dir " " 或者直接从 CLI 生成视频
python3 -m mochi_preview.infer --prompt " A hand with delicate fingers picks up a bright yellow lemon from a wooden bowl filled with lemons and sprigs of mint against a peach-colored background. The hand gently tosses the lemon up and catches it, showcasing its smooth texture. A beige string bag sits beside the bowl, adding a rustic touch to the scene. Additional lemons, one halved, are scattered around the base of the bowl. The even lighting enhances the vibrant colors and creates a fresh, inviting atmosphere. " --seed 1710977262 --cfg-scale 4.5 --model_dir " " 将
Mochi 1 代表了开源视频生成领域的重大进步，具有基于我们新颖的非对称扩散变压器 (AsymmDiT) 架构构建的 100 亿参数扩散模型。它完全从头开始训练，是有史以来公开发布的最大的视频生成模型。最重要的是，它是一个简单、可破解的架构。此外，我们还发布了一个推理工具，其中包括高效的上下文并行实现。
除了 Mochi 之外，我们还开源了我们的视频 AsymmVAE。我们使用非对称编码器-解码器结构来构建高效的高质量压缩模型。我们的 AsymmVAE 因果地将视频压缩到 128 倍小尺寸，并通过 8x8 空间压缩和 6x 时间压缩到 12 通道潜在空间。
| 参数 数数 | 编码基地 渠道 | 十二月基准 渠道 | 潜 暗淡 | 空间 压缩 | 颞 压缩 |
|---|---|---|---|---|---|
| 362M | 64 | 128 | 12 | 8x8 | 6x |
AsymmDiT 通过简化文本处理并将神经网络能力集中在视觉推理上，有效地处理用户提示和压缩视频标记。 AsymmDiT 通过多模态自注意力机制联合关注文本和视觉标记，并为每种模态学习单独的 MLP 层，类似于稳定扩散 3。然而，我们的视觉流通过更大的隐藏参数，其参数数量几乎是文本流的 4 倍。方面。为了统一自注意力的模式，我们使用非方形 QKV 和输出投影层。这种不对称设计降低了推理内存需求。许多现代扩散模型使用多个预训练的语言模型来表示用户提示。相比之下，Mochi 1 只是使用单个 T5-XXL 语言模型对提示进行编码。
| 参数 数数 | 数量 层数 | 数量 头 | 视觉的 暗淡 | 文本 暗淡 | 视觉的 代币 | 文本 代币 |
|---|---|---|---|---|---|---|
| 10B | 48 | 24 | 3072 | 1536 | 44520 | 256 |
该模型至少需要 4 个 H100 GPU 才能运行。我们欢迎社区做出贡献以减少这一要求。
Genmo 视频模型是通用的文本到视频的扩散模型，本质上反映了训练数据中发现的偏见和先入之见。虽然已采取措施限制 NSFW 内容，但组织应在任何商业服务或产品中部署这些模型权重之前实施额外的安全协议并仔细考虑。
根据研究预览，Mochi 1 是一个活生生的、不断发展的检查点。有一些已知的限制。今天，初始版本生成 480p 的视频。在一些极端运动的边缘情况下，也可能会发生轻微的扭曲和扭曲。 Mochi 1 还针对逼真风格进行了优化，因此在动画内容上表现不佳。我们还预计社区将微调模型以适应不同的审美偏好。
@misc{genmo2024mochi,
title={Mochi},
author={Genmo Team},
year={2024}
}
