ai4artists

人工智能与艺术交叉点的资源。主要是工具和教程，但也有一些鼓舞人心的人和地方！

如需涵盖更通用的创意编码工具（您可能希望与此处列出的工具一起使用）的更广泛资源，请查看 terkelg/awesome-creative-coding 或 thatcreativecode.page。有关人工智能和深度学习的一般资源，请查看 ChristosChristofidis/awesome-deep-learning 和 https://github.com/dair-ai。

内容

• 学习
  • 课程
  • 视频
  • 图书
  • 教程和博客
• 论文/方法
  • 扩散模型（以及文本到图像）
  • 神经辐射场（和 NeRF 之类的东西）
  • 3D 和点云
  • 无条件图像合成
  • 条件图像合成（和逆问题）
  • GAN 反转（和编辑）
  • 潜在空间解读
  • 图像抠图
• 工具
  • 创意机器学习
  • 深度学习
  • 运行时/部署
  • 文本到图像
  • 创意编码
  • 稳定扩散
• 数据集
• 产品/应用程序
• 艺术家
• 机构/场所
• 相关列表

粗体条目表示该部分/小节中我最喜欢的资源（如果我必须选择单个资源）。此外，每个小节通常按内容的特殊性排序（最一般的列在前面）。

学习

课程

通用深度学习

• 程序员实用深度学习 (fast.ai)
• 深度学习（纽约大学）
• 深度学习简介（CMU）
• ️计算机视觉深度学习（UMich）
• 计算机视觉深度学习（斯坦福 CS231n）
• 深度学习自然语言处理（斯坦福 CS224n）

深度生成建模

• 深度生成模型（斯坦福大学）
• 深度无监督学习（加州大学伯克利分校）
• 可微推理和生成模型（多伦多）
• ️基于学习的图像合成（CMU）
• 学习离散潜在结构（多伦多）
• 从深度学习基础到稳定扩散 (fast.ai)

创意编码和新媒体

• ️艺术、美学和创造力的深度学习 (MIT)
• 网络机器学习（ITP/纽约大学）
• 艺术与机器学习（CMU）
• 新媒体装置：学习的艺术（CMU）
• 计算媒体简介（ITP/纽约大学）
  • 媒体课程
  • 代码课程

视频

• ️解释说，人工智能可以创建任何你想要的图片（Vox）
• 我创建了一个神经网络并尝试教它识别涂鸦（Sebastian Lague）
• 神经网络系列（3Blue1Brown）
• JavaScript 机器学习初学者指南（编码火车）
• 两分钟论文

图书

• ️深入研究深度学习（Zhang、Lipton、Li 和 Smola）
• 深度学习（Goodfellow、Bengio 和 Courville）
• 计算机视觉：算法与应用（Szeliski）
• 游戏中的程序内容生成（Shaker、Togelius 和 Nelson）
• 衍生式设计（Benedikt Groß）

教程和博客

深度学习

• ️ VQGAN-CLIP：使用自然语言指导生成和编辑开放域图像（Crowson 和 Biderman）
• 深度生成模型教程 (IJCAI-ECAI 2018)
• GAN 教程 (CVPR 2018)
• Lil'Log（莉莲·翁）
• 蒸馏[暂停]

生成艺术

• ️用简单的数学制作生成艺术
• 着色器之书：生成设计
• Mike Bostock：可视化算法（与 Eyeo 谈话）
• 处理中的生成示例
• 生成音乐

论文/方法

扩散模型（以及文本到图像）

• SDEdit：使用随机微分方程引导图像合成和编辑：早于稳定扩散的论文描述了使用基于扩散的模型进行图像合成和编辑的方法。
• GLIDE：使用文本引导扩散模型实现逼真图像生成和编辑
• High-Resolution Image Synthesis with Latent Diffusion Models：介绍稳定扩散并开始这一切的原始论文。
• 使用交叉注意力控制进行提示到提示图像编辑：通过编辑原始提示来编辑稳定扩散输出。
• 一幅图像值得一个字：使用文本反转个性化文本到图像的生成：与提示到提示类似，但采用输入图像和文本描述。有点像风格转移......但具有稳定的扩散。
• DreamBooth：微调文本到图像扩散模型以实现主题驱动生成：与文本反转类似，但专注于操纵基于主题的图像（即这个东西/人/等，但在水下）。
• 使用扩散模型的新颖视图合成
• AudioGen：文本引导音频生成
• 制作视频：无需文本视频数据即可生成文本到视频
• Imagic：使用扩散模型进行基于文本的真实图像编辑
• MDM：人体运动扩散模型
• 软扩散：一般腐败的分数匹配
• 文本到图像扩散的多概念定制：类似于DreamBooth，但能够综合多个概念。
• eDiff-I：具有专家降噪器集合的文本到图像扩散模型
• 阐明基于扩散的生成模型 (EDM) 的设计空间
• 用去噪扩散 GAN 解决生成学习难题
• Imagen Video：使用扩散模型生成高清视频

神经辐射场（和 NeRF 之类的东西）

• 重新审视运动结构：稀疏建模的先前工作（对于 NeRF 仍然需要/有用）
• 非结构化多视图立体的像素级视图选择：之前关于密集建模的工作（NeRF 有点取代了它）
• DeepSDF：学习用于形状表示的连续符号距离函数
• 延迟神经渲染：使用神经纹理进行图像合成
• 神经体积：从图像中学习动态可渲染体积
• ️ NeRF：将场景表示为视图合成的神经辐射场：这篇论文开始了这一切......
• 用于无约束照片集的神经辐射场：野外 NeRF（MVS 的替代方案）
• Nerfies：可变形神经辐射场：来自野外休闲照片和视频（例如手机）的逼真 NeRF
• Mip-NeRF：抗锯齿神经辐射场的多尺度表示：NeRF...但更好、更快、更难、更强
• 深度监督 NeRF：免费更少的视图和更快的训练：利用深度信息，用更少的图像更快地训练 NeRF 模型
• 具有多分辨率哈希编码的即时神经图形基元：缓存 NeRF 训练以使其速度更快
• 了解体素网格 NeRF 模型的纯 CLIP 指南：使用 CLIP 进行文本转 3D
• NeRF-SLAM：具有神经辐射场的实时密集单目 SLAM：用于机器人（和汽车）的 NeRF
• nerf2nerf：神经辐射场的成对配准：预训练的 NeRF
• 他们在电视节目中重建 3D 人物和环境
• ClimateNeRF：用于极端气候合成的基于物理的神经渲染
• 逼真的一次性基于网格的头像
• 用于反射新视图合成的神经点灾难
• 近乎重复的照片中的 3D 瞬间
• NeRDi：以语言引导扩散作为一般图像先验的单视图 NeRF 合成

3D 和点云

• DreamFusion：使用 2D 扩散的文本转 3D（Google）
• ULIP：学习语言、图像和点云的统一表示以实现 3D 理解 (Salesforce)
• 从图像中提取三角形 3D 模型、材质和光照 (NVIDIA)
• GET3D：从图像中学习的高质量 3D 纹理形状的生成模型 (NVIDIA)
• 使用三平面扩散生成 3D 神经场
• ？ MagicPony：在野外学习铰接式 3D 动物
• ObjectStitch：生成对象合成 (Adobe)
• LADIS：3D 形状编辑的语言解缠（Snap）
• Rodin：使用扩散雕刻 3D 数字化身的生成模型 (Microsoft)
• SDFusion：多模态 3D 形状完成、重建和生成（捕捉）
• DiffRF：渲染引导的 3D 辐射场扩散（元）
• 使用扩散模型的新颖视图合成（Google）
• ️ Magic3D：高分辨率文本转 3D 内容创建 (NVIDIA)

无条件图像合成

• 采样生成网络
• 神经离散表示学习（VQVAE）
• 逐步发展 GAN 以提高质量、稳定性和变化
• 用于生成对抗网络的基于样式的生成器架构（StyleGAN）
• ️分析和提高StyleGAN（StyleGAN2）的图像质量
• 使用有限数据训练生成对抗网络 (StyleGAN2-ADA)
• 无别名生成对抗网络 (StyleGAN3)
• 使用 VQ-VAE-2 生成多样化的高保真图像
• 驯服变压器以实现高分辨率图像合成 (VQGAN)
• 扩散模型在图像合成方面击败了 GAN
• StyleNAT：给每个人一个新的视角
• StyleGAN-XL：将 StyleGAN 扩展到大型多样化数据集

条件图像合成（和逆问题）

• 使用条件对抗网络进行图像到图像的转换 (pix2pix)
• 使用循环一致对抗网络 (CycleGAN) 进行不成对的图像到图像转换
• 使用条件 GAN 进行高分辨率图像合成和语义操作 (pix2pixHD)
• 通过添加、操作或删除对象对场景进行语义编辑 (SESAME)
• 具有空间自适应归一化的语义图像合成 (SPADE)
• 您只需要语义图像合成（OASIS）的对抗性监督
• 风格编码：用于图像到图像转换的 StyleGAN 编码器
• 使用专家产品 GAN 进行多模态条件图像合成
• 调色板：图像到图像的扩散模型
• 草图引导的文本到图像扩散模型
• HRDA：上下文感知高分辨率域自适应语义分割
• PiPa：用于领域自适应语义分割的像素和补丁式自监督学习
• MIC：用于上下文增强域适应的蒙版图像一致性
• 预训练就是图像到图像翻译 (PITI) 所需的一切

GAN 反转（和编辑）

• 自然图像流形上的生成视觉操作 (iGAN)
• 用于真实图像编辑的域内 GAN 反转
• Image2StyleGAN：如何将图像嵌入到 StyleGAN 潜在空间中？
• 设计用于 StyleGAN 图像处理的编码器
• 基于潜在的真实图像编辑的关键调整
• ️ HyperStyle：使用 HyperNetworks 进行 StyleGAN 反转，实现真实图像编辑
• StyleCLIP：StyleGAN 图像的文本驱动操作
• 用于图像属性编辑的高保真 GAN 反转
• 交换自动编码器以进行深度图像处理
• 绘制你自己的 GAN
• 重写 GAN 的几何规则
• 用于交互式图像合成和编辑的 Anycost GAN
• 第三次有魅力吗？使用 StyleGAN3 进行图像和视频编辑

潜在空间解读

• ️发现可解释的 GAN 控件 (GANspace)
• 解释用于语义人脸编辑的 GAN 的潜在空间
• GAN 剖析：可视化和理解生成对抗网络
• StyleGAN 编辑方向的无监督提取 (CLIP2StyleGAN)
• 看看 GAN 无法生成什么

图像抠图

• 深度图像抠图
• 背景抠图：世界就是你的绿屏
• 强大的视频抠图
• 语义图像抠图
• 保护隐私的肖像抠图
• 深度自动自然图像抠图
• 哑光前模
• MODNet：通过目标分解进行实时无 Trimap 肖像抠图
• ️通过语义指导实现稳健的人体抠图

工具

生成建模

• NVIDIA Imaginaire：2D 图像合成库
• NVIDIA Omniverse：用于创建和操作 Metaverse 应用程序的平台
• 新一代
• Modelverse：基于内容的深度生成模型搜索
• 桨GAN

创意机器学习

• Tensorflow.js
• ML5.js
• 媒体管道
• ️洋红色
• 威克纳特
• ofx插件

深度学习框架

• ️ PyTorch
• 喀拉斯
• 张量流
• ？变形金刚
• ？扩散器
• 贾克斯
• 库
• 暗网

运行时/部署

• FFCV：用于加速机器学习训练的优化数据管道
• ONNX 运行时
• DeepSpeed（训练、推理、压缩）
• 张量RT
• 张量流精简版
• TorchScript
• 火炬服务
• AI模板

文本转图像

• ️稳定扩散
• 图像
• 达勒2号
• VQGAN+剪辑
• 党
• Muse：通过屏蔽生成变压器生成文本到图像：比使用变压器屏蔽图像建模的扩散或自回归文本到图像模型更有效

稳定扩散 (SD)

• Dream Studio：官方稳定人工智能云托管服务。
• ️稳定的 Diffusion Web UI ：用户友好的 SD 用户界面，具有附加功能，可简化常见工作流程。
• AI 渲染 (Blender)：使用文本提示在 Blender 中渲染场景。
• Dream Textures (Blender)：使用 SD 渲染纹理、参考图像和背景的插件。
• lexica.art - SD 提示搜索。
• koi (Krita)：Krita 的 SD 插件，用于生成 img2img。
• Alpaca (Photoshop)：Photoshop 插件（测试版）。
• Christian Cantrell's Plugin (Photoshop)：另一个 Photoshop 插件。
• Stable Diffusion Studio：SD 的动画重点前端。
• DeepSpeed-MII：适用于各种（20,000 多个）模型/任务（包括 SD）的低延迟和高吞吐量推理。

神经辐射场

• 科尔地图
• ️纳夫工作室
• NVlabs/instant-ngp
• 神经加速器

创意编码

框架

• ️处理 (Java) 和 p5.js (Javascript)
• 开放框架 (C++)
• 煤渣 (C++)
• nannou（铁锈）

可视化编程语言

• 呜呜呜
• ️触摸设计师
• 最大/MSP/抖动
• 纯数据

数据集

许可/开放获取

• LAION 数据集：各种超大规模图像文本对数据集（特别用于训练开源稳定扩散模型）。
• LAION-脸部
• 不飞溅图像
• 皮克斯
• 像素
• 开放图像：开放图像是约 900 万图像的数据集，带有图像级标签、对象边界框、对象分割掩模、视觉关系和本地化叙述：
• Mozilla Common Voice：经过验证的 17,127 小时转录语音，涵盖 104 种语言。此外，数据集中记录的许多时间还包括年龄、性别和口音等人口统计元数据，有助于提高语音识别引擎的准确性。
• Flickr Commons：Flickr Commons 是来自世界各地 100 多个文化机构的独特历史摄影集，所有这些都没有已知的版权限制。
• 互联网档案馆：互联网档案馆是一个非营利性图书馆，拥有数百万册免费书籍、电影、软件、音乐、网站等。
• 维基共享资源：包含 106,323,506 个可免费使用的媒体文件的集合，任何人都可以为其做出贡献。
• 普雷林格档案馆
• 盖蒂图书馆开放内容计划：免费提供盖蒂收藏中的图像以供学习、教学和欣赏。
• 史密森尼开放获取
• 公共领域评论：重点关注现在属于公共领域的作品，这是不受版权保护的材料的巨大公共资源，每个人都可以不受限制地自由享受、共享和构建。
• 国会图书馆
• 生物多样性遗产图书馆
• 大都会开放获取
• 国家美术馆开放参观
• 芝加哥艺术学院开放获取
• 纽约公共图书馆公共领域馆藏
• 汉堡斯坦托广场艺术与艺术博物馆
• 美丽的脸
• 概念性字幕
• 快点，画画！
• 打开图像
• 视觉问答
• TensorFlow 花
• 斯坦福在线产品数据集
• DeepMind 3d 形状
• PASS：ImageNet 替代无人监督的预训练，可用于高质量的预训练，同时显着减少隐私问题。

面孔/人物（受限许可）

• 野外标记面孔 (LFW)
• 名人A
• 低频WA+
• CelebAMask-总部
• 名人恶搞
• UTKFace
• SSHQ：全身 1024 x 512px

其他

• 布鲁图斯光场

产品/应用程序

• 艺术培育者
• 中途
• DALLE 2（开放人工智能）
• Runway - 人工智能驱动的视频编辑器。
• Facet AI - 人工智能驱动的图像编辑器。
• Adobe Sensei - Creative Cloud 套件的 AI 驱动功能。
• NVIDIA 人工智能演示
• ClipDrop 和 cleanup.pictures

艺术家

在艺术、机器学习和设计交叉领域做有趣事情的人员的非详尽列表。

• 备忘录通知
• 神经拼贴（海伦娜沙林）
• 索菲亚·克雷斯波
• 劳伦·麦卡锡
• 菲利普·施密特
• 安娜·里德勒
• 汤姆·怀特
• 伊沃娜·陶
• 特雷弗·帕格伦
• 萨莎·斯蒂尔斯
• 马里奥·克林格曼
• 特加大脑
• 米米·奥诺哈
• 艾莉森·帕里什
• 卡罗琳·辛德斯
• 罗比巴拉特
• 凯尔·麦克唐纳
• 戈兰·莱文

机构/场所

• 创意探究工作室
• ITP@纽约大学
• 灰色地区艺术基金会
• 稳定性 AI（Eleuther、LAION 等）
• 伦敦大学金史密斯学院
• 加州大学洛杉矶分校设计媒体艺术
• 伯克利新媒体中心
• 谷歌艺术家和机器智能
• 谷歌创意实验室
• 谷歌文化学院实验室
• 索尼 CSL（东京和巴黎）

相关列表和集合

• 艺术机器学习
• Tools and Resources for AI Art (pharmapsychotic) - 用于生成文本到图像技术以及通用工具和资源的 Google Colab 笔记本的大列表。
• Awesome Generative Deep Art - 生成深度艺术/生成人工智能项目、工具、艺术品和模型的精选列表

贡献

欢迎贡献！首先阅读贡献指南。