ai4artists

AIとアートの交差点にあるリソース。主にツールとチュートリアルですが、いくつかのインスピレーションを与える人々や場所も投入されます。

より一般的なクリエイティブ コーディング ツール (ここにリストされているものと組み合わせて使用​​することもできます) をカバーする広範なリソースについては、terkelg/awesome-creative-coding または thatcreativecode.page をチェックしてください。 AI とディープラーニング全般に関するリソースについては、ChristosChristofidis/awesome-deep-learning および https://github.com/dair-ai をチェックしてください。

コンテンツ

• 学ぶ
  • コース
  • 動画
  • 本
  • チュートリアルとブログ
• 論文/方法
  • 拡散モデル (およびテキストから画像へ)
  • Neural Radiance フィールド (および NeRF のようなもの)
  • 3D と点群
  • 無条件画像合成
  • 条件付き画像合成 (および逆問題)
  • GAN インバージョン (および編集)
  • 潜在空間の解釈
  • 画像マット化
• ツール
  • クリエイティブML
  • ディープラーニング
  • ランタイム/デプロイメント
  • テキストから画像へ
  • クリエイティブコーディング
  • 安定した拡散
• データセット
• 製品/アプリ
• アーティスト
• 機関/場所
• 関連リスト

太字のエントリは、そのセクション/サブセクションのお気に入りのリソースを示します (単一のリソースを選択しなければならなかった場合)。さらに、各サブセクションは通常、コンテンツの特殊性によって順序付けされています (最も一般的なものが最初にリストされます)。

学ぶ

コース

一般的な深層学習

• プログラマーのための実践的な深層学習 (fast.ai)
• ディープラーニング (ニューヨーク大学)
• ディープラーニング (CMU) の概要
• ️コンピュータービジョンのためのディープラーニング (UMich)
• コンピュータービジョンのためのディープラーニング (スタンフォード CS231n)
• 深層学習による自然言語処理 (スタンフォード CS224n)

深い生成モデリング

• 深層生成モデル (スタンフォード)
• 深い教師なし学習 (カリフォルニア大学バークレー校)
• 微分可能な推論と生成モデル (トロント)
• ️学習ベースの画像合成 (CMU)
• 離散潜在構造の学習 (トロント)
• 深層学習の基盤から安定普及（fast.ai）まで

クリエイティブなコーディングと新しいメディア

• ️芸術、美学、創造性のためのディープラーニング (MIT)
• Web のための機械学習 (ITP/NYU)
• アートと機械学習 (CMU)
• 新しいメディアインスタレーション: 学ぶアート (CMU)
• コンピュテーショナルメディア入門 (ITP/NYU)
  • メディアコース
  • コードコース

動画

• ️思い通りの絵を作るAIを解説（Vox）
• ニューラル ネットワークを作成して Doodle を認識するように教えてみました (Sebastian Lague)
• ニューラルネットワークシリーズ(3青1茶)
• JavaScript での機械学習の初心者ガイド (コーディング トレイン)
• 2分間のペーパー

本

• ️ディープラーニングの詳細 (Zhang、Lipton、Li、Smola)
• 深層学習 (グッドフェロー、ベンジオ、クールヴィル)
• コンピューター ビジョン: アルゴリズムとアプリケーション (Szeliski)
• ゲームにおける手続き型コンテンツ生成 (Shaker、Togelius、Nelson)
• ジェネレーティブ デザイン (ベネディクト グロース)

チュートリアルとブログ

ディープラーニング

• ️ VQGAN-CLIP: 自然言語ガイダンスによるオープン ドメイン画像の生成と編集 (Crowson と Biderman)
• 深層生成モデルに関するチュートリアル (IJCAI-ECAI 2018)
• GAN に関するチュートリアル (CVPR 2018)
• Lil'Log (リリアン・ウェン)
• 蒸留[休止中]

ジェネラティブ アート

• ️簡単な数学でジェネレーティブアートを作る
• シェーダーの本: ジェネレーティブ デザイン
• Mike Bostock: アルゴリズムの視覚化 (Eyeo トーク付き)
• 処理における生成例
• ジェネレーティブ ミュージック

論文/方法

拡散モデル (およびテキストから画像へ)

• SDEdit: 確率微分方程式によるガイド付き画像合成と編集: 拡散ベースのモデルを使用した画像合成と編集の方法を説明した安定拡散以前の論文。
• GLIDE: テキストガイドによる拡散モデルを使用したフォトリアリスティックな画像の生成と編集に向けて
• 潜在拡散モデルを使用した高解像度画像合成: 安定拡散を導入し、すべてを開始したオリジナルの論文。
• クロスアテンション制御を使用したプロンプト間の画像編集: 元のプロンプトを編集して、安定した拡散出力を編集します。
• 画像は一言の価値があります: テキスト反転を使用したテキストから画像への生成のパーソナライズ: プロンプトからプロンプトに似ていますが、代わりに入力画像とテキストの説明を受け取ります。 Style Transfer のようなものですが、Stable diffusion を使用します。
• DreamBooth: 主題駆動型生成のためのテキストから画像への拡散モデルの微調整: テキスト反転に似ていますが、代わりに主題ベースの画像 (つまり、この物/人/など、ただし水中) の操作に焦点を当てています。
• 拡散モデルを使用した新しいビューの合成
• AudioGen: テキストガイド付きオーディオ生成
• Make-A-Video: テキストビデオデータを使用しないテキストからビデオの生成
• Imagic: 拡散モデルを使用したテキストベースの実画像編集
• MDM: ヒューマンモーション拡散モデル
• ソフト拡散: 一般的な破損のスコア マッチング
• テキストから画像への拡散のマルチコンセプトのカスタマイズ: DreamBooth に似ていますが、複数のコンセプトを合成できます。
• eDiff-I: エキスパート デノイザーのアンサンブルを使用したテキストから画像への拡散モデル
• 拡散ベース生成モデル (EDM) の設計空間の解明
• ノイズ除去拡散 GAN で生成学習のトリレンマに取り組む
• Imagen Video: 拡散モデルを使用した高解像度ビデオの生成

Neural Radiance フィールド (および NeRF のようなもの)

• Structure-from-Motion Revisited: スパースモデリングに関する以前の研究 (NeRF には依然として必要/有用)
• 非構造化マルチビュー ステレオのためのピクセル単位のビュー選択: 密なモデリングに関する以前の作業 (NeRF がこれを置き換えるようなもの)
• DeepSDF: 形状表現のための連続符号付き距離関数の学習
• 遅延ニューラル レンダリング: ニューラル テクスチャを使用した画像合成
• ニューラル ボリューム: 画像から動的にレンダリング可能なボリュームを学習する
• ️ NeRF: ビュー合成のためのニューラル放射フィールドとしてシーンを表現: すべての始まりとなった論文...
• 制約のない写真コレクション用のニューラル ラディアンス フィールド: 野生の NeRF (MVS の代替)
• Nerfies: 変形可能なニューラル ラディアンス フィールド: カジュアルな自然の写真やビデオ (携帯電話など) からのフォトリアリスティックな NeRF
• Mip-NeRF: アンチエイリアシング神経放射フィールドのマルチスケール表現: NeRF...しかし、より良く、より速く、より強く、より強く
• 深度監視付き NeRF: 少ないビューと無料トレーニングの高速化: 深度情報を活用することで、より少ない画像で NeRF モデルをより高速にトレーニングします。
• 多重解像度ハッシュ エンコーディングを使用したインスタント ニューラル グラフィックス プリミティブ: NeRF トレーニングを高速にするためのキャッシュ
• ボクセル グリッド NeRF モデルの純粋な CLIP ガイダンスを理解する: CLIP を使用したテキストから 3D への変換
• NeRF-SLAM: 神経放射場を備えたリアルタイム高密度単眼 SLAM: ロボット (および自動車) 用の NeRF
• nerf2nerf: 神経放射フィールドのペアワイズ登録: 事前学習済み NeRF
• テレビ番組の 3D 人間と環境を再構築したもの
• ClimateNeRF: 極端な気候合成のための物理ベースのニューラル レンダリング
• リアルなワンショット メッシュベースのヘッド アバター
• 反射の新規ビュー合成のためのニューラル ポイント カタカアスティクス
• ほぼ重複した写真からの 3D モーメント
• NeRDi: 一般的なイメージ事前分布として言語ガイド付き拡散を使用したシングルビュー NeRF 合成

3D と点群

• DreamFusion: 2D 拡散を使用したテキストから 3D への変換 (Google)
• ULIP: 3D 理解のための言語、画像、点群の統一表現の学習 (Salesforce)
• 画像からの三角形 3D モデル、マテリアル、および照明の抽出 (NVIDIA)
• GET3D: 画像から学習した高品質の 3D テクスチャ形状の生成モデル (NVIDIA)
• トリプレーン拡散を使用した 3D 神経場の生成
• ? MagicPony: 野生の関節式 3D 動物を学ぶ
• ObjectStitch: 生成オブジェクト合成 (Adobe)
• LADIS: 3D 形状編集のための言語のもつれの解消 (スナップ)
• Rodin: 拡散を使用して 3D デジタル アバターを彫刻するための生成モデル (Microsoft)
• SDFusion: マルチモーダル 3D 形状の完成、再構築、生成 (スナップ)
• DiffRF: レンダリングガイド付き 3D 放射輝度フィールド拡散 (メタ)
• 拡散モデルを使用した新しいビューの合成 (Google)
• ️ Magic3D: 高解像度のテキストから 3D コンテンツへの作成 (NVIDIA)

無条件画像合成

• サンプリング生成ネットワーク
• ニューラル離散表現学習 (VQVAE)
• 品質、安定性、バリエーションを向上させるための GAN の漸進的な成長
• 敵対的生成ネットワークのためのスタイルベースのジェネレーター アーキテクチャ (StyleGAN)
• ️ StyleGAN（StyleGAN2）の画質解析と改善
• 限られたデータを使用した敵対的生成ネットワークのトレーニング (StyleGAN2-ADA)
• エイリアスフリーの敵対的生成ネットワーク (StyleGAN3)
• VQ-VAE-2による多様な高忠実度画像の生成
• 高解像度画像合成のためのトランスフォーマーの制御 (VQGAN)
• 拡散モデルが画像合成で GAN に勝つ
• StyleNAT: それぞれの頭に新たな視点を与える
• StyleGAN-XL: StyleGAN を大規模で多様なデータセットにスケーリングする

条件付き画像合成 (および逆問題)

• 条件付き敵対的ネットによる画像から画像への変換 (pix2pix)
• Cycle-Consistent Adversarial Networks (CycleGAN) を使用したペアのない画像から画像への変換
• 条件付き GAN (pix2pixHD) による高解像度画像合成とセマンティック操作
• オブジェクトの追加、操作、または消去によるシーンのセマンティック編集 (SESAME)
• 空間適応正規化によるセマンティック画像合成 (SPADE)
• セマンティックイメージ合成 (OASIS) には敵対的監視のみが必要です
• スタイルでエンコーディング: 画像から画像への変換のための StyleGAN エンコーダー
• 専門家製品 GAN を使用したマルチモーダル条件付き画像合成
• パレット: 画像間の拡散モデル
• スケッチガイドによるテキストから画像への拡散モデル
• HRDA: コンテキスト認識型高解像度ドメイン適応型セマンティック セグメンテーション
• PiPa: ドメイン適応型セマンティック セグメンテーションのためのピクセルおよびパッチ単位の自己教師あり学習
• MIC: コンテキスト拡張ドメイン適応のためのマスクされたイメージの一貫性
• 画像から画像への変換 (PITI) に必要なのは事前トレーニングだけです

GAN インバージョン (および編集)

• 自然画像多様体上の生成的視覚操作 (iGAN)
• 実画像編集のためのドメイン内 GAN 逆変換
• Image2StyleGAN: StyleGAN 潜在空間に画像を埋め込む方法?
• StyleGAN 画像操作用のエンコーダーの設計
• 実画像の潜在ベース編集のための重要なチューニング
• ️ HyperStyle: 実画像編集のための HyperNetworks を使用した StyleGAN 反転
• StyleCLIP: StyleGAN 画像のテキスト駆動型操作
• 画像属性編集のための高忠実度 GAN 逆変換
• ディープイメージ操作のためのオートエンコーダーの交換
• 独自の GAN をスケッチする
• GAN の幾何学的ルールの書き換え
• インタラクティブな画像合成と編集のための Anycost GAN
• 三度目が魅力? StyleGAN3 による画像とビデオの編集

潜在空間の解釈

• ️解釈可能な GAN コントロールの発見 (GANspace)
• セマンティックな顔編集のための GAN の潜在空間の解釈
• GAN の解剖: 敵対的生成ネットワークの視覚化と理解
• StyleGAN 編集方向の教師なし抽出 (CLIP2StyleGAN)
• GAN では生成できないものを確認する

画像マット化

• ディープイメージマッティング
• 背景マット: 世界はあなたのグリーン スクリーンです
• 堅牢なビデオマット
• セマンティックイメージマッティング
• プライバシー保護ポートレートマット
• ディープ自動自然画像マット化
• マットフォーマー
• MODNet: 客観的分解によるリアルタイムのトライマップフリーのポートレートマット化
• ️セマンティックガイダンスによる堅牢なヒューマンマッティング

ツール

生成モデリング

• NVIDIA Imaginaire: 2D 画像合成ライブラリ
• NVIDIA Omniverse: メタバース アプリケーションを作成および運用するためのプラットフォーム
• mm世代
• Modelverse: 深い生成モデルのコンテンツベースの検索
• パドルGAN

クリエイティブML

• Tensorflow.js
• ml5.js
• メディアパイプ
• ️マゼンタ
• ウェキネーター
• ofxアドオン

深層学習フレームワーク

• ️パイトーチ
• ケラス
• テンソルフロー
• ?トランスフォーマー
• ?ディフューザー
• ジャックス
• dlib
• ダークネット

ランタイム/デプロイメント

• FFCV: ML トレーニングを加速するための最適化されたデータ パイプライン
• ONNX ランタイム
• DeepSpeed (トレーニング、推論、圧縮)
• TensorRT
• Tensorflow Lite
• トーチスクリプト
• トーチサーブ
• AITテンプレート

テキストから画像へ

• ️安定した拡散
• イマージェン
• ダル 2
• VQGAN+クリップ
• パーティー
• Muse: マスクされた生成トランスフォーマーによるテキストから画像への生成: トランスフォーマーを使用したマスクされた画像モデリングを使用した拡散または自己回帰のテキストから画像へのモデルよりも効率的

安定拡散(SD)

• Dream Studio: 公式 Stability AI クラウド ホスト サービス。
• ️安定した拡散 Web UI : 一般的なワークフローを簡単にする追加機能を備えた SD 用のユーザーフレンドリーな UI。
• AI レンダリング (Blender): テキスト プロンプトを使用して、Blender でシーンをレンダリングします。
• Dream Textures (Blender): テクスチャ、参照画像、背景を SD でレンダリングするプラグイン。
• lexica.art - SD プロンプト検索。
• koi (Krita): img2img 生成用の Krita 用 SD プラグイン。
• Alpaca (Photoshop): Photoshop プラグイン (ベータ版)。
• Christian Cantrell のプラグイン (Photoshop): もう 1 つの Photoshop プラグイン。
• Stable Diffusion Studio: アニメーションに焦点を当てた SD 用フロントエンド。
• DeepSpeed-MII: SD を含むさまざまな (20,000 以上) モデル/タスクに対する低遅延および高スループットの推論。

神経放射フィールド

• コルマップ
• ️ナーフスタジオ
• NVlabs/インスタントngp
• ナーフアク

クリエイティブコーディング

フレームワーク

• ️処理(Java)とp5.js(JavaScript)
• openFrameworks (C++)
• 燃え殻 (C++)
• なんのう(錆び)

ビジュアルプログラミング言語

• ヴヴヴヴ
• ️タッチデザイナー
• 最大/MSP/ジッター
• 純粋なデータ

データセット

寛容なライセンス/オープンアクセス

• LAION データセット: さまざまな非常に大規模な画像とテキストのペアのデータセット (特に、オープンソースの安定拡散モデルのトレーニングに使用されます)。
• LAION-Face
• 画像のスプラッシュを解除する
• ピクサベイ
• ペクセル
• Open Images: Open Images は、画像レベルのラベル、オブジェクト境界ボックス、オブジェクト セグメンテーション マスク、視覚的関係、およびローカライズされたナラティブで注釈が付けられた約 900 万個の画像のデータセットです。
• Mozilla Common Voice: 104 の言語をカバーする 17,127 時間の検証済み音声文字起こし。さらに、データセット内の記録時間の多くには、音声認識エンジンの精度の向上に役立つ年齢、性別、アクセントなどの人口統計メタデータも含まれています。
• Flickr Commons: Flickr Commons は、世界中の 100 以上の文化施設から集められた歴史的な写真のユニークなコレクションであり、すべて既知の著作権制限はありません。
• Internet Archive: Internet Archive は、何百万もの無料の書籍、映画、ソフトウェア、音楽、Web サイトなどを集めた非営利のライブラリです。
• ウィキメディア・コモンズ: 誰でも貢献できる、自由に使用できる 1 億 6,323,506 個のメディア ファイルのコレクション。
• プレリンジャーアーカイブ
• Getty ライブラリ オープン コンテンツ プログラム: Getty のコレクションから画像を学習、教育、楽しみのために自由に利用できるようにします。
• スミソニアン博物館オープンアクセス
• パブリック ドメイン レビュー: 現在パブリック ドメインに分類されている作品、つまり誰もが制限なく自由に楽しみ、共有し、構築できる著作権切れの素材の広大な共有物に焦点を当てています。
• 米国議会図書館
• 生物多様性遺産ライブラリー
• メトロポリタン美術館オープンアクセス
• 国立美術館のオープンアクセス
• シカゴ美術館オープンアクセス
• ニューヨーク公共図書館のパブリックドメインコレクション
• ハンブルク美術館とゲヴェルベ美術館
• フェアフェイス
• 概念的なキャプション
• 早く描け！
• 画像を開く
• 視覚的な質問への回答
• TensorFlow 花
• スタンフォード オンライン製品データセット
• DeepMind 3D 形状
• PASS: 人間を介さない自己監視型事前トレーニングに代わる ImageNet で、プライバシーの懸念を大幅に軽減しながら高品質な事前トレーニングに使用できます。

顔/人物 (制限付きライセンス)

• 野生のラベル付き顔 (LFW)
• セレブA
• LFWA+
• CelebAMask-HQ
• CelebA-なりすまし
• UTKフェイス
• SSHQ: フルボディ 1024 x 512px

他の

• ブルータス ライト フィールド

製品/アプリ

• アートブリーダー
• 旅の途中
• DALLE 2 (OpenAI)
• Runway - AI を活用したビデオエディター。
• Facet AI - AI を活用した画像エディター。
• Adobe Teacher - Creative Cloud スイートの AI を活用した機能。
• NVIDIA AI デモ
• ClipDrop と cleanup.pictures

アーティスト

アート、ML、デザインの交差点で興味深い活動をしている人々の非網羅的なリスト。

• メモアクテン
• 神経ブリコラージュ (ヘレナ サリン)
• ソフィア・クレスポ
• ローレン・マッカーシー
• フィリップ・シュミット
• アンナ・リドラー
• トム・ホワイト
• イヴォナ・タウ
• トレバー・パグレン
• サーシャ・スタイルズ
• マリオ・クリンゲマン
• テガブレイン
• ミミ・オヌオハ
• アリソン・パリッシュ
• キャロライン・シンダース
• ロビー・バラット
• カイル・マクドナルド
• ゴラン・レビン

機関/場所

• クリエイティブな問い合わせのための STUDIO
• ITP @ ニューヨーク大学
• グレーエリア芸術財団
• 安定性 AI (Eleuther、LAION、他)
• ロンドン大学のゴールドスミス
• UCLA デザイン メディア アーツ
• バークレー センター フォー ニュー メディア
• Google アーティストと機械知能
• Google クリエイティブ ラボ
• Google カルチュラル インスティテュートのラボ
• ソニーCSL（東京とパリ）

関連リストとコレクション

• アートのための機械学習
• AI アート用のツールとリソース (薬物療法) - テキストから画像への生成技術および一般的なツールとリソースに関する Google Colab ノートブックの大きなリスト。
• 素晴らしいジェネレーティブ ディープ アート - ジェネレーティブ ディープ アート / ジェネレーティブ AI プロジェクト、ツール、アートワーク、モデルの厳選されたリスト

貢献する

貢献は大歓迎です!まず投稿ガイドラインをお読みください。