ai4artists下載 - ai4artists原始碼下載

ai4artists

Ai源碼

1.0.0

下載

簡單的神經網路藝術圖

人工智慧與藝術交叉點的資源。主要是工具和教程，但也有一些鼓舞人心的人和地方！

如需涵蓋更通用的創意編碼工具（您可能想要與此處列出的工具一起使用）的更廣泛資源，請查看 terkelg/awesome-creative-coding 或 thatcreativecode.page。有關人工智慧和深度學習的一般資源，請查看 ChristosChristofidis/awesome-deep-learning 和 https://github.com/dair-ai。

內容

學習
- 課程
- 影片
- 圖書
- 教學和博客
論文/方法
- 擴散模型（以及文字到圖像）
- 神經輻射場（和 NeRF 之類的東西）
- 3D 和點雲
- 無條件影像合成
- 條件影像合成（和逆問題）
- GAN 反轉（和編輯）
- 潛在空間解讀
- 圖像摳圖
工具
- 創意機器學習
- 深度學習
- 運行時/部署
- 文字到圖像
- 創意編碼
- 穩定擴散
數據集
產品/應用程式
藝術家
機構/場所
相關列表

粗體條目表示該部分/小節中我最喜歡的資源（如果我必須選擇單一資源）。此外，每個小節通常會依照內容的特殊性排序（最一般的列在前面）。

學習

課程

通用深度學習

程式設計師實用深度學習 (fast.ai)
深度學習（紐約大學）
深度學習簡介（CMU）
️電腦視覺深度學習（UMich）
電腦視覺深度學習（史丹佛 CS231n）
深度學習自然語言處理（史丹佛 CS224n）

深度生成建模

深度生成模型（史丹佛大學）
深度無監督學習（加州大學柏克萊分校）
可微推理和生成模型（多倫多）
️基於學習的圖像合成（CMU）
學習離散潛在結構（多倫多）
從深度學習基礎到穩定擴散 (fast.ai)

創意編碼與新媒體

️藝術、美學和創造力的深度學習 (MIT)
網路機器學習（ITP/紐約大學）
藝術與機器學習（CMU）
新媒體裝置：學習的藝術（CMU）
計算媒體簡介（ITP/紐約大學）
- 媒體課程
- 代碼課程

影片

️解釋說，人工智慧可以創建任何你想要的圖片（Vox）
我創建了一個神經網路並嘗試教它識別塗鴉（Sebastian Lague）
神經網路系列（3Blue1Brown）
JavaScript 機器學習初學者指南（編碼火車）
兩分鐘論文

圖書

️深入研究深度學習（Zhang、Lipton、Li 和 Smola）
深度學習（Goodfellow、Bengio 和 Courville）
電腦視覺：演算法與應用（Szeliski）
遊戲中的程式內容生成（Shaker、Togelius 和 Nelson）
衍生式設計（Benedikt Groß）

教學和博客

深度學習

️ VQGAN-CLIP：使用自然語言指導產生和編輯開放域圖像（Crowson 和 Biderman）
深度生成模型教學 (IJCAI-ECAI 2018)
GAN 教程 (CVPR 2018)
Lil'Log（莉蓮翁）
蒸餾[暫停]

生成藝術

️用簡單的數學製作生成藝術
著色器之書：生成設計
Mike Bostock：視覺化演算法（與 Eyeo 對話）
處理中的生成範例
生成音樂

論文/方法

擴散模型（以及文字到圖像）

SDEdit：使用隨機微分方程式引導影像合成和編輯：早於穩定擴散的論文描述了使用基於擴散的模型進行影像合成和編輯的方法。
GLIDE：使用文字引導擴散模型實現逼真圖像生成和編輯
High-Resolution Image Synthesis with Latent Diffusion Models：介紹穩定擴散並開始這一切的原始論文。
使用交叉注意力控制進行提示到提示影像編輯：透過編輯原始提示來編輯穩定擴散輸出。
一個圖像值得一個字：使用文字反轉個人化文字到圖像的生成：與提示到提示類似，但採用輸入圖像和文字描述。有點像風格轉移......但具有穩定的擴散。
DreamBooth：微調文字到圖像擴散模型以實現主題驅動生成：與文字反轉類似，但專注於操縱基於主題的圖像（即這個東西/人/等，但在水下）。
使用擴散模型的新穎視圖合成
AudioGen：文字引導音訊生成
製作視頻：無需文本視頻數據即可生成文本到視頻
Imagic：使用擴散模型進行基於文字的真實圖像編輯
MDM：人體運動擴散模型
軟擴散：一般腐敗的分數匹配
文本到圖像擴散的多概念定制：類似於DreamBooth，但能夠綜合多個概念。
eDiff-I：具有專家降噪器集合的文字到影像擴散模型
闡明基於擴散的生成模型 (EDM) 的設計空間
用去雜訊擴散 GAN 解決生成學習難題
Imagen Video：使用擴散模型產生高清視頻

神經輻射場（和 NeRF 之類的東西）

重新檢視運動結構：稀疏建模的先前工作（對於 NeRF 仍然需要/有用）
非結構化多視圖立體的像素級視圖選擇：先前關於密集建模的工作（NeRF 有點取代了它）
DeepSDF：學習用於形狀表示的連續符號距離函數
延遲神經渲染：使用神經紋理進行影像合成
神經體積：從影像中學習動態可渲染體積
️ NeRF：將場景表示為視圖合成的神經輻射場：這篇論文開始了這一切...
用於無約束照片集的神經輻射場：野外 NeRF（MVS 的替代方案）
Nerfies：可變形神經輻射場：來自野外休閒照片和影片（例如手機）的逼真 NeRF
Mip-NeRF：抗鋸齒神經輻射場的多尺度表示：NeRF...但更好、更快、更難、更強
深度監督 NeRF：免費更少的視野和更快的訓練：利用深度訊息，用更少的圖像更快地訓練 NeRF 模型
具有多解析度雜湊編碼的即時神經圖形基元：快取 NeRF 訓練以使其速度更快
了解體素網格 NeRF 模型的純 CLIP 指南：使用 CLIP 進行文字轉 3D
NeRF-SLAM：具有神經輻射場的即時密集單目 SLAM：用於機器人（和汽車）的 NeRF
nerf2nerf：神經輻射場的配對配準：預訓練的 NeRF
他們在電視節目中重建 3D 人物和環境
ClimateNeRF：用於極端氣候合成的基於物理的神經渲染
逼真的一次性基於網格的頭像
用於反射新視圖合成的神經點災難
近乎重複的照片中的 3D 瞬間
NeRDi：以語言引導擴散作為一般影像先驗的單視圖 NeRF 合成

3D 和點雲

DreamFusion：使用 2D 擴散的文字轉 3D（Google）
ULIP：學習語言、圖像和點雲的統一表示以實現 3D 理解 (Salesforce)
從影像中擷取三角形 3D 模型、材質和光照 (NVIDIA)
GET3D：從影像中學習的高品質 3D 紋理形狀的生成模型 (NVIDIA)
使用三平面擴散產生 3D 神經場
？ MagicPony：在野外學習鉸接式 3D 動物
ObjectStitch：生成物件合成 (Adobe)
LADIS：3D 形狀編輯的語言解纏（Snap）
Rodin：使用擴散雕刻 3D 數位化身的生成模型 (Microsoft)
SDFusion：多模態 3D 形狀完成、重建與生成（捕捉）
DiffRF：渲染引導的 3D 輻射場擴散（元）
使用擴散模型的新穎視圖合成（Google）
️ Magic3D：高解析度文字轉 3D 內容創作 (NVIDIA)

無條件影像合成

採樣生成網絡
神經離散表示學習（VQVAE）
逐步發展 GAN 以提高品質、穩定性和變化
用於生成對抗網路的基於樣式的生成器架構（StyleGAN）
️分析並提高StyleGAN（StyleGAN2）的影像質量
使用有限資料訓練生成對抗網路 (StyleGAN2-ADA)
無別名生成對抗網路 (StyleGAN3)
使用 VQ-VAE-2 產生多樣化的高保真影像
馴服變壓器以實現高解析度影像合成 (VQGAN)
擴散模型在圖像合成方面擊敗了 GAN
StyleNAT：給每個人一個新的視角
StyleGAN-XL：將 StyleGAN 擴展到大型多樣化資料集

條件影像合成（和逆問題）

使用條件對抗網路進行影像到影像的轉換 (pix2pix)
使用循環一致性對抗網路 (CycleGAN) 進行不成對的影像到影像轉換
使用條件 GAN 進行高解析度影像合成和語義操作 (pix2pixHD)
透過新增、操作或刪除物件對場景進行語義編輯 (SESAME)
具有空間自適應歸一化的語意影像合成 (SPADE)
您只需要語意影像合成（OASIS）的對抗性監督
風格編碼：用於影像轉換為影像的 StyleGAN 編碼器
使用專家產品 GAN 進行多模態條件影像合成
調色板：圖像到圖像的擴散模型
草圖引導的文字到圖像擴散模型
HRDA：上下文感知高解析度域自適應語意分割
PiPa：用於領域自適應語義分割的像素和補丁式自監督學習
MIC：用於上下文增強域適應的遮罩影像一致性
預訓練就是圖像到圖像翻譯 (PITI) 所需的一切

GAN 反轉（和編輯）

自然影像流形上的生成視覺操作 (iGAN)
用於真實影像編輯的域內 GAN 反轉
Image2StyleGAN：如何將影像嵌入到 StyleGAN 潛在空間中？
設計用於 StyleGAN 影像處理的編碼器
基於潛在的真實影像編輯的關鍵調整
️ HyperStyle：使用 HyperNetworks 進行 StyleGAN 反轉，實現真實影像編輯
StyleCLIP：StyleGAN 影像的文字驅動操作
用於影像屬性編輯的高保真 GAN 反轉
交換自動編碼器以進行深度影像處理
繪製你自己的 GAN
重寫 GAN 的幾何規則
用於互動式影像合成和編輯的 Anycost GAN
第三次有魅力嗎？使用 StyleGAN3 進行影像和影片編輯

潛在空間解讀

️發現可解釋的 GAN 控制項 (GANspace)
解釋用於語義人臉編輯的 GAN 的潛在空間
GAN 剖析：可視化和理解生成對抗網絡
StyleGAN 編輯方向的無監督提取 (CLIP2StyleGAN)
看看 GAN 無法產生什麼

圖像摳圖

深度影像摳圖
背景摳圖：世界就是你的綠屏
強大的影片摳圖
語意圖像摳圖
保護隱私的肖像摳圖
深度自動自然影像摳圖
霧面前模
MODNet：透過目標分解進行即時無 Trimap 肖像摳圖
️透過語意指導實現穩健的人體摳圖

工具

生成建模

NVIDIA Imaginaire：2D 影像合成庫
NVIDIA Omniverse：用於建立和操作 Metaverse 應用程式的平台
新一代
Modelverse：基於內容的深度生成模型搜索
槳GAN

創意機器學習

Tensorflow.js
ML5.js
媒體管道
️洋紅色
威克納特
ofx插件

深度學習框架

️ PyTorch
喀拉斯
張量流
？變形金剛
？擴散器
賈克斯
庫
暗網

運行時/部署

FFCV：用於加速機器學習訓練的優化資料管道
ONNX 運作時
DeepSpeed（訓練、推理、壓縮）
張量RT
張量流精簡版
TorchScript
火炬服務
AI模板

文字轉圖像

️穩定擴散
影像
達勒2號
VQGAN+剪輯
黨
Muse：透過屏蔽生成變壓器生成文字到圖像：比使用變壓器屏蔽圖像建模的擴散或自回歸文字到圖像模型更有效

穩定擴散 (SD)

Dream Studio：官方穩定人工智慧雲端託管服務。
️穩定的 Diffusion Web UI ：使用者友善的 SD 使用者介面，具有附加功能，可簡化常見工作流程。
AI 渲染 (Blender)：使用文字提示在 Blender 中渲染場景。
Dream Textures (Blender)：使用 SD 渲染紋理、參考影像和背景的插件。
lexica.art - SD 提示搜尋。
koi (Krita)：Krita 的 SD 插件，用於產生 img2img。
Alpaca (Photoshop)：Photoshop 外掛程式（測試版）。
Christian Cantrell's Plugin (Photoshop)：另一個 Photoshop 外掛程式。
Stable Diffusion Studio：SD 的動畫重點前端。
DeepSpeed-MII：適用於各種（20,000 多個）模型/任務（包括 SD）的低延遲和高吞吐量推理。

神經輻射場

科爾地圖
️納夫工作室
NVlabs/instant-ngp
神經加速器

創意編碼

框架

️處理 (Java) 和 p5.js (Javascript)
開放框架 (C++)
煤渣 (C++)
nannou（鐵鏽）

視覺化程式語言

嗚嗚嗚
️觸摸設計師
最大/MSP/抖動
純數據

數據集

許可/開放獲取

LAION 資料集：各種超大規模影像文字對資料集（特別用於訓練開源穩定擴散模型）。
LAION-臉部
不飛濺圖像
皮克斯
像素
開放圖像：開放圖像是約 900 萬圖像的資料集，帶有圖像級標籤、物件邊界框、物件分割掩模、視覺關係和本地化敘述：
Mozilla Common Voice：經過驗證的 17,127 小時轉錄語音，涵蓋 104 種語言。此外，資料集中記錄的許多時間還包括年齡、性別和口音等人口統計元數據，有助於提高語音辨識引擎的準確性。
Flickr Commons：Flickr Commons 是來自世界各地 100 多個文化機構的獨特歷史攝影集，所有這些都沒有已知的版權限制。
網路檔案館：網路檔案館是一個非營利圖書館，擁有數百萬冊免費書籍、電影、軟體、音樂、網站等。
維基共享資源：包含 106,323,506 個可免費使用的媒體檔案的集合，任何人都可以為其做出貢獻。
普雷林格檔案館
蓋蒂圖書館開放內容計畫：免費提供蓋蒂收藏中的圖像以供學習、教學和欣賞。
史密森尼開放獲取
公共領域評論：重點關注現在屬於公共領域的作品，這是不受版權保護的材料的巨大公共資源，每個人都可以不受限制地自由享受、分享和建構。
國會圖書館
生物多樣性遺產圖書館
大都會開放獲取
國家美術館開放參觀
芝加哥藝術學院開放獲取
紐約公共圖書館公共領域館藏
漢堡斯坦托廣場藝術與藝術博物館
美麗的臉
概念性字幕
快點，畫畫！
打開影像
視覺問答
TensorFlow 花
史丹佛線上產品數據集
DeepMind 3d 形狀
PASS：ImageNet 取代無人監督的預訓練，可用於高品質的預訓練，同時顯著減少隱私問題。