ScribbleArchitect
1.0.0
Stable Diffusion으로 선 그리기, 분할, 스타일 전달 및 고급화!
이 GUI를 사용하면 간단한 브러시 스트로크 또는 베지어 곡선에서 실시간으로 이미지를 생성할 수 있습니다. 이 기능은 주로 건축에 사용하고 프로젝트 초기 단계에서 스케치하기 위해 설계되었습니다. 생성 프로세스를 위한 AI 백본으로 Stable Diffusion 및 ControlNet을 사용합니다. IP 어댑터 지원은 물론 사전 정의된 스타일의 대규모 라이브러리도 포함되어 있습니다! 각 참조 이미지를 사용하면 특정 스타일을 라인 작업으로 전송할 수 있습니다. 결과를 고해상도로 내보낼 수 있는 업스케일 기능도 추가되었습니다(ControlNet 타일 기반).
라이브 드로잉을 보여주는 예
스타일의 변화를 보여주는 예(인테리어)
스타일의 변화를 보여주는 예(외관)
최근에 많은 새로운 기능이 추가되었습니다:
우리는 최근 사용자가 검정색 선(ControlNet Scribble 공급용) 또는 컬러 브러시 스트로크(ControlNet Segmentation용)를 그릴 수 있는 새로운 레이어 시스템을 통합했습니다. '앱 사용'을 참조하세요. 참고: '릴리스' 섹션에서 이전 버전을 계속 찾을 수 있습니다.
건축 디자인 '유형'(외부 렌더링, 외관 입면도, 내부 렌더링 등)과 스타일을 선택합니다. 왼쪽에는 그리기 영역이 있습니다. 검정색 선을 추가하여 도면의 중요한 선을 정의하거나 색상 영역(의미 체계)을 추가하여 특정 개체를 배치해야 하는 위치(나무, 창 등)를 정의할 수 있습니다. 특정 색상 코드는 각 개체 유형과 연관되어 있습니다. 그래픽 인터페이스를 통해 그릴 개체를 직접 선택할 수 있으므로 올바른 색상을 선택하는 것에 대해 걱정할 필요가 없습니다. 그리기 과정 자체는 완전히 표준입니다. 도구를 선택하고 그려보세요! (또는 삭제). 제안된 이미지 적응이 실시간으로 표시됩니다(체크박스를 사용하면 실시간 추론을 비활성화할 수 있음).
분할 브러시 사용을 보여주는 예(내부)
영감이 부족하거나 테스트 목적으로 낙서 그림 예시가 자동으로 생성될 수 있습니다.
이미지를 가져와 낙서 및/또는 분할을 자동으로 생성할 수도 있습니다.
화면 캡처 기능도 추가했습니다. 드래그할 수 있는 캡처 상자(파란색 테두리)가 생성되고 캡처된 영역을 기반으로 낙서가 생성됩니다. 캡처에 만족하면 도구를 다시 클릭하여 비활성화합니다. 강력한 도구를 입력으로 사용하여 작업할 수 있습니다(Adobe Illustrator, Inkscape, ...).
Inkscape를 입력으로 사용하는 화면 캡처 기능
ControlNet 업스케일러 덕분에 렌더링을 고해상도로 내보낼 수 있습니다. 더 많은 옵션이 곧 통합될 예정입니다!
업스케일링(예술적인 외부 렌더링)
업스케일링(사실적인 인테리어 렌더링)
최근 드로잉 미디어에 대한 지원이 포함되었습니다. 펜의 압력이 감지되어야 합니다. Ipad Pro + EasyCanvas에서 테스트되었습니다.
라이브 드로잉에는 강력한 GPU가 필요합니다. 너무 느린 경우 이미지 크기(main.py에서)를 줄이는 것이 좋습니다! 이미지 업스케일은 정말 GPU 집약적입니다...
기본적으로 이 앱은 Dreamshaper(https://huggingface.co/Lykon/dreamshaper-8)를 사용합니다. 전용 폴더('custom_models')에 커스텀 모델을 추가할 수 있습니다. 모든 SD1.5 체크포인트가 작동해야 합니다.
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
(https://pytorch.org/get-started/locally/ 참조)
pip install git+https://github.com/sberbank-ai/Real-ESRGAN.git
https://huggingface.co/lllyasviel/sd-controlnet-seg https://huggingface.co/lllyasviel/sd-controlnet-scribble
