dreambooth keras ダウンロード - dreambooth keras ソースコードのダウンロード

ドリームブースケラス

その他のソースコード

1.0.0

ダウンロード

KerasCVとTensorFlowを使ったDreamBoothの実装

このリポジトリは、KerasCV と TensorFlow を使用した DreamBooth の実装を提供します。この実装は、Hugging Face のdiffusersの例から大きく参照されています。

DreamBooth は、新しいビジュアルコンセプトについて Stable Diffusion をすばやく教える (微調整する) 方法です。詳細については、このドキュメントを参照してください。

このリポジトリで提供されるコードは研究目的のみに使用されます。潜在的な使用例と制限について詳しく知りたい場合は、このセクションを確認してください。

このモデルをロードすると、https://raw.githubusercontent.com/CompVis/stable-diffusion/main/LICENSE で CreativeML Open RAIL-M ライセンスに同意したことになります。

このリポジトリの付随リソースだけを探している場合は、次のリンクを参照してください。

推論 Colab ノートブック
keras.io のブログ投稿
微調整されたモデルの重み

コードベースを使用して DreamBooth トレーニングを実行する手順

前提条件をインストールします: pip install -r requirements.txt 。
まず、一意の識別子が追加されるクラスを選択する必要があります。このリポジトリコードベースは、一意の識別子としてsks使用し、クラスとしてdog使用してテストされました。
次に、2 種類のプロンプトが生成されます。
(a)インスタンスプロンプト: f「{self.unique_id} {self.class_category} の写真」 (b)クラスプロンプト: f「{self.class_category} の写真」
インスタンスイメージ
モデルを微調整するコンセプトを表すいくつかの画像 (3 ～ 10) を取得します。これらのイメージは、 instance_promptに関連付けられます。これらのイメージは、コードベースでは、 instance_imagesと呼ばれます。これらのイメージをアーカイブし、オンラインのどこかにホストして、内部でtf.keras.utils.get_file()関数を使用してアーカイブをダウンロードできるようにします。
授業イメージ
DreamBooth は、事前保存損失を使用してトレーニングを正規化します。長い話を短くすると、以前の保存の損失により、モデルがその概念について持っていた可能性のある事前知識から検討中の新しい概念にゆっくりと適応するのに役立ちます。以前の保存損失を使用するには、上記のようなクラスプロンプトが必要です。クラスプロンプトは、DreamBooth トレーニングに使用される最終的な損失を計算するために使用される、事前定義された数の画像を生成するために使用されます。
このリソースによると、クラスプロンプトを使用して生成された 200 ～ 300 個の画像は、ほとんどの場合に適切に機能します。
そのため、 instance_promptとclass_promptを決定した後、この Colab ノートブックを使用して、事前保存損失でのトレーニングに使用されるいくつかの画像を生成します。次に、生成されたイメージを単一のアーカイブとしてアーカイブし、内部でtf.keras.utils.get_file()関数を使用してダウンロードできるようにオンラインでホストします。コードベースでは、これらのイメージを単にclass_imagesと呼びます。

事前保存ロスを使用せずに DreamBooth トレーニングを実行することが可能です。このリポジトリは常にそれを使用します。このコードベースを簡単にテストできるように、インスタンスとクラスのイメージをここでホストしました。

トレーニング開始！試してみることができるハイパーパラメータが多数あります。詳細については、 train_dreambooth.pyスクリプトを参照してください。以下は、混合精度とその他のデフォルト値を使用してトレーニングを開始するコマンドです。
```
python train_dreambooth.py --mp
```
--train_text_encoderオプションを指定してテキストエンコーダを微調整することもできます。
さらに、このスクリプトは重みとバイアス ( wandb ) との統合をサポートしています。 --log_wandb指定すると、
- WandbMetricsLoggerコールバックを使用して、トレーニングメトリクスをwandbダッシュボードに自動的に記録します。
- また、各エポックの終わりにモデルのチェックポイントをモデルのバージョン管理のアーティファクトとしてwandbプロジェクトにアップロードします。これは、 WandbModelCheckpointコールバックを使用して構築されたDreamBoothCheckpointCallbackを使用して行われます。
- また、各エポックの終了時に DreamBoothed モデルのパラメーターを使用して推論を実行し、それらをwandbダッシュボードのwandb.Tableに記録します。これは、 QualitativeValidationCallbackを使用して行われます。これにより、トレーニングの最後に、生成された画像がwandbダッシュボードのメディアパネルに記録されます。
以下は、トレーニングを開始し、トレーニングメトリクスと生成された画像を重みとバイアスワークスペースに記録するコマンドです。
```
python train_dreambooth.py 
  --log_wandb 
  --validation_prompts 
    " a photo of sks dog with a cat " 
    " a photo of sks dog riding a bicycle " 
    " a photo of sks dog peeing " 
    " a photo of sks dog playing cricket " 
    " a photo of sks dog as an astronaut "
```
これは、生成されたイメージとモデルのチェックポイントを見つけることができるwandb実行例です。

推論

コラボノート
一括実験を開始するためのスクリプト

結果

私たちは 2 つの異なる方法で実装をテストしました: (a) 拡散モデル (UNet) のみを微調整する、(b) テキストエンコーダとともに拡散モデルを微調整する。実験は、トレーニング中のlearning rateとtraining steps 、推論中のnumber of stepsとunconditional guidance scale (ugs) の幅広いハイパーパラメータに対して行われました。ただし、ここには (私たちの観点から) 最も顕著な結果のみが含まれています。さまざまなハイパーパラメータが生成される画質にどのような影響を与えるかについて興味がある場合は、各セクションの完全なレポートへのリンクを見つけてください。

私たちの実験は、Hugging Face のこのブログ投稿に基づいていることに注意してください。

(a) 拡散モデルの微調整

ここでは、私たちが行ったさまざまな実験から選ばれたいくつかの結果を紹介します。この設定の実験ログはここから入手できます。その他の視覚化画像 (これらの実験のチェックポイントを使用して生成されたもの) は、ここから入手できます。

ステップ	UGS	設定
50	30	LR: 1e-6 トレーニングステップ: 800 (ウェイト)
25	15	LR: 1e-6 トレーニングステップ: 1000 (ウェイト)
75	15	LR: 3e-6 トレーニングステップ: 1200 (ウェイト)

_{キャプション：「バケツに入ったSKS犬の写真」}

(b) テキストエンコーダ+拡散モデルの微調整

画像	ステップ	ブス
	75	15
	75	30

_{"キャプション: バケツに入った sks 犬の写真"}

_{学習率 = 9e-06、最大トレーニングステップ = 200 (重み | レポート)}

画像	ステップ	ブス
	150	15
	75	30

_{"キャプション: 口ひげのない sks の人の写真、ハンサム、超リアル、4k、8k"}

_{学習率 = 9e-06、最大訓練ステップ = 200 (データセット | レポート)}

ディフューザーに使用?

diffusersライブラリは、安定拡散を含むさまざまな拡散モデルを実験するための最先端のツールを提供します。これには、大規模な安定拡散チェックポイントを使用する場合にdiffusersによる効率的な推論を実行するために利用できるさまざまな最適化テクニックが含まれています。 diffusers特に有利な機能の 1 つは、実行時に構成でき、互換性のあるディフュージョンモデルに統合できるさまざまなスケジューラーをサポートしていることです。

このコードベースを使用して DreamBooth の微調整されたチェックポイントを取得したら、実際にそれらを便利なStableDiffusionPipelineにエクスポートし、 diffusersライブラリから直接使用できます。

このリポジトリ: chansung/dreambooth-dog について考えてみましょう。いくつかの小さな手順を実行した後、 StableDiffusionPipelineでこのリポジトリのチェックポイントを使用できます。

 from diffusers import StableDiffusionPipeline

# checkpoint of the converted Stable Diffusion from KerasCV
model_ckpt = "sayakpaul/text-unet-dogs-kerascv_sd_diffusers_pipeline"
pipeline = StableDiffusionPipeline . from_pretrained ( model_ckpt )
pipeline . to ( "cuda" )

unique_id = "sks"
class_label = "dog"
prompt = f"A photo of { unique_id } { class_label } in a bucket"
image = pipeline ( prompt , num_inference_steps = 50 ). images [ 0 ]

詳細については、このガイドに従ってください。

さまざまなスケジューラ設定による実験結果:

犬の画像の微調整されたチェックポイントをディフューザー互換の StableDiffusionPipeline に変換し、異なるスケジューラー設定でさまざまな実験を実行しました。たとえば、 DDIMSchedulerの次のパラメーターは、 guidance_scaleとnum_inference_stepsの異なるセットでテストされます。

 num_inference_steps_list = [ 25 , 50 , 75 , 100 ]
guidance_scale_list = [ 7.5 , 15 , 30 ]

scheduler_configs = {
  "DDIMScheduler" : {
      "beta_value" : [
          [ 0.000001 , 0.02 ], 
          [ 0.000005 , 0.02 ], 
          [ 0.00001 , 0.02 ], 
          [ 0.00005 , 0.02 ], 
          [ 0.0001 , 0.02 ], 
          [ 0.0005 , 0.02 ]
      ],
      "beta_schedule" : [
          "linear" , 
          "scaled_linear" , 
          "squaredcos_cap_v2"
      ],
      "clip_sample" : [ True , False ],
      "set_alpha_to_one" : [ True , False ],
      "prediction_type" : [
          "epsilon" , 
          "sample" , 
          "v_prediction"
      ]
  }
}

以下は、 beta_scheduleパラメーターのさまざまな値と、その他のパラメーターはデフォルト値に固定されている間の比較です。 PNDMSchedulerやLMSDiscreteSchedulerなどの他のスケジューラからの結果を含む元のレポートを見てください。

多くの場合、デフォルト設定ではより高品質の画像が生成されることが保証されています。たとえば、 guidance_scaleとbeta_scheduleのデフォルト値は 7.5 とlinearに設定されます。ただし、 guidance_scaleを 7.5 に設定すると、 beta_scheduleのscaled_linearの方がうまく動作するようです。または、 beta_scheduleがlinearに設定されている場合、 guidance_scale高くするとより効果的に機能するようです。

4,800 回の実験を実行し、合計 38,400 枚の画像が生成されました。これらの実験は重みとバイアスに記録されます。興味があれば、ここでそれらと実験の実行に使用されたスクリプトをチェックしてください。