ScribbleArchitect

畫線、分割、風格轉移和穩定擴散的高級！

此 GUI 允許從簡單的筆觸或貝塞爾曲線即時產生影像。這些功能主要用於建築以及專案早期階段的草圖繪製。它使用穩定擴散和 ControlNet 作為生成過程的人工智慧骨幹。包括 IP 適配器支援以及大型預定義樣式庫！每個參考圖像都可以將特定的風格轉移到您的線條作品中。還添加了高級功能，以高解析度匯出結果（基於 ControlNet 磁貼）。

顯示即時繪圖的範例

顯示風格變化的範例（室內）

顯示風格變化的範例（外觀）

訊息！

最近新增了許多新功能：

• 支援 Hyper-SD（作為 LCM 的替代方案）
• 產生隨機塗鴉
• 為特定物件繪製分割區域（天空、建築物、窗戶…）
• 平板電腦繪圖支援（觸控螢幕、Ipad...）
• 自訂樣式匯入
• 自訂模型匯入（例如從 Civitai）
• 導入影像用於不同目的
  • 作為繪圖的支撐
  • 作為塗鴉
  • 作為分割區
• ……

我們最近整合了一個新的圖層系統，使用者可以繪製黑色線條（用於輸入 ControlNet Scribble）或彩色畫筆描邊（用於 ControlNet Segmentation）。請參閱“使用應用程式”。注意：您仍然可以在“發布”部分找到舊版本。

使用應用程式

選擇建築設計「類型」（外部渲染、立面立面、內部渲染…）和風格。在左側，您會找到繪圖區域。您可以新增黑線來定義繪圖的重要線條，或新增彩色區域（語意圖）來定義特定物件的放置位置（樹、窗戶等）。特定的顏色代碼與每種類型的物件相關聯。您不必擔心選擇正確的顏色，因為圖形介面允許您直接選擇要繪製的物件。繪圖過程本身是完全標準的。選擇你的工具並畫畫！ （或刪除）。您將看到建議的圖像即時適應（複選框允許您停用即時推理）。

顯示分割畫筆使用的範例（內部）

如果您缺乏靈感或出於測試目的，可以自動產生範例塗鴉圖。

也可以匯入影像以自動產生塗鴉和/或分割。

我們還添加了螢幕截圖功能。它會建立一個可以拖曳的捕獲框（藍色邊框），並根據捕獲的區域產生塗鴉。對捕獲感到滿意後，再次單擊該工具將其停用。它允許使用強大的工具作為輸入（Adobe Illustrator、Inkscape...）。

以 Inkscape 作為輸入的螢幕擷取功能

升級

借助 ControlNet 升頻器，渲染可以高解析度匯出。更多選項將很快整合！

升級（藝術外部渲染）

升級（真實的室內渲染）

平板電腦支援

最近還包括對繪圖媒體的支援。應檢測筆的壓力。在 Ipad Pro + EasyCanvas 上測試。

影片2.mp4

選項

即時繪圖需要強大的 GPU，如果太慢，我建議減小圖像大小（在 main.py 中）！影像高檔確實是 GPU 密集的...

包含的推理模型

預設情況下，該應用程式使用 Dreamshaper (https://huggingface.co/Lykon/dreamshaper-8)。可以將自訂模型新增至專用資料夾（“custom_models”）。任何 SD1.5 檢查點都應該有效。

安裝

• 安裝 CUDA（如果尚未完成）
• 克隆儲存庫並安裝 venv。
• 安裝割炬。 CUDA 11.8 的範例：

 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

（參見 https://pytorch.org/get-started/locally/）

• 安裝 Real-ESRGAN：

 pip install git+https://github.com/sberbank-ai/Real-ESRGAN.git

• 安裝其他依賴項（請參閱要求）：
  • 加速
  • 擴散器
  • 變形金剛
  • pyqt6
  • OpenCV-Python
  • opencv-contrib-python
  • 佩夫特
• 啟動 main.py（由於模型安裝過程，第一次啟動可能會很長！）

有用的參考資料

https://huggingface.co/lllyasviel/sd-controlnet-seg https://huggingface.co/lllyasviel/sd-controlnet-scribble