ScribbleArchitect
1.0.0
安定拡散で線画、セグメンテーション、スタイル転写、高級化！
この GUI を使用すると、単純なブラシ ストロークまたはベジェ曲線からリアルタイムで画像を生成できます。これらの機能は、主に建築での使用と、プロジェクトの初期段階でのスケッチ用に設計されています。生成プロセスの AI バックボーンとして Stable Diffusion と ControlNet を使用します。 IP アダプターのサポートだけでなく、事前定義されたスタイルの大規模なライブラリも含まれています。各参照画像を使用すると、特定のスタイルを線画に転送できます。結果を高解像度でエクスポートするためのアップスケール機能も追加されました (ControlNet タイルに基づいて)。
ライブドローイングの例
スタイル変更例（インテリア）
スタイル変更例（外観）
最近、多くの新機能が追加されました。
最近、ユーザーが黒い線 (ControlNet Scribble の供給用) またはカラー ブラシ ストローク (ControlNet セグメンテーション用) を描画できる新しいレイヤー システムを組み込みました。 「アプリの使用」を参照してください。注: 古いバージョンはまだ「リリース」セクションにあります。
建築デザインの「タイプ」(外観レンダリング、ファサード立面図、内部レンダリングなど) とスタイルを選択します。左側に描画領域があります。黒い線を追加して図面の重要な線を定義するか、色付きのゾーン (セマンティック マップ) を追加して特定のオブジェクト (木、窓など) を配置する場所を定義できます。特定のカラーコードがオブジェクトの各タイプに関連付けられています。グラフィカル インターフェイスを使用して描画するオブジェクトを直接選択できるため、適切な色の選択について心配する必要はありません。描画プロセス自体は完全に標準です。ツールを選んで絵を描きましょう！ (または削除)。提案された画像がライブで適応されるのが表示されます (チェックボックスを使用すると、ライブ推論を無効にできます)。
セグメンテーション ブラシの使用例 (内部)
インスピレーションが足りない場合、またはテスト目的の場合は、サンプルの落書き図を自動的に生成できます。
画像をインポートして、落書きやセグメンテーションを自動的に生成することもできます。
画面キャプチャ機能も追加しました。ドラッグできるキャプチャ ボックス (青い境界線) が作成され、キャプチャされたゾーンに基づいて落書きが生成されます。キャプチャに満足したら、ツールを再度クリックして非アクティブ化します。強力なツール (Adobe Illustrator、Inkscape など) を入力として使用して作業することができます。
Inkscape を入力とした画面キャプチャ機能
ControlNet アップスケーラーのおかげで、レンダリングを高解像度でエクスポートできます。さらに多くのオプションが間もなく統合される予定です。
アップスケーリング (芸術的な外観レンダリング)
アップスケーリング (リアルなインテリア レンダリング)
最近、描画メディアのサポートが追加されました。筆圧を検出する必要があります。 iPad Pro + EasyCanvasでテスト済み。
ライブ描画には強力な GPU が必要です。遅延が多すぎる場合は、(main.py 内の) 画像サイズを減らすことをお勧めします。画像のアップスケールは本当に GPU を大量に消費します...
デフォルトでは、アプリは Dreamshaper (https://huggingface.co/Lykon/dreamshaper-8) を使用します。カスタム モデルは専用フォルダー (「custom_models」) に追加できます。 SD1.5 チェックポイントはどれも機能するはずです。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
(https://pytorch.org/get-started/locally/ を参照)
pip install git+https://github.com/sberbank-ai/Real-ESRGAN.git
https://huggingface.co/lllyasviel/sd-controlnet-seg https://huggingface.co/lllyasviel/sd-controlnet-scribble
