diffusion model tf generativefill

生成填充 Tensorflow 和 Keras

这项工作使用扩散模型来实现生成填充技术，例如图像去掩码、修复、扩展和各种生成填充技术。

图像修复（原始图像、蒙版图像、重建图像）

生成 DDPM（使用 Landscape 数据集训练和生成）。

生成 LDM（在 COCO 上训练并使用 Landscape 数据集生成）。

用 COCO 采样

更多生成的图像可以在结果中找到

查看我的 DDPM 实施。

GenFill 的 LDM 和 DDPM

该存储库包括使用 DDPM 的生成填充。要使用 LDM 执行相同的操作，请在此处查看我的 LDM 存储库。此存储库中的 ldm-genfill 文件夹仅包含使用 ldm 模型执行生成填充的模型配置文件。因此，请使用我的 LDM 存储库中的实现以及此存储库中的配置文件。 LDM 存储库中提供了所有 LDM 调节的演示和其他说明。

目前，与 LDM 相比，DDPM 中未屏蔽的区域看起来更具上下文相关性，因为 DDPM 直接作用于图像。使用文本和类调节来支持 GenFill 会稍微提高上下文填充的能力，并且进一步的训练也可能会有所改善。稍后可能会有改进计划。

目标（可能会添加更多。）

• 重建图像的缺失区域，也称为图像修复。
  

最近更新

• 在课堂和文本指导下实施生成填充技术。
  
• 生成填充潜在空间以实现高分辨率。
  

致谢

• LHQ 数据集
• DDPM官方

训练和生成演示

• 使用 DDPM 的生成填充。
• LDM GenFill 采样数据集。
• 查看我的 LDM 存储库以获取 LDM 生成填充演示。