ScribbleArchitect
1.0.0
Desenho de linha, segmentação, transferência de estilo e aprimoramento com Difusão Estável!
Esta GUI permite gerar imagens a partir de simples pinceladas, ou curvas de Bézier, em tempo real. As funções foram projetadas principalmente para uso em arquitetura e para esboços nos estágios iniciais de um projeto. Ele usa Difusão Estável e ControlNet como espinha dorsal de IA para o processo generativo. Suporte para adaptador IP está incluído, bem como uma grande biblioteca de estilos predefinidos! Cada imagem de referência permite transferir um estilo específico para o seu trabalho de linha. Também foi adicionada uma função de upscale, para exportar resultados em alta resolução (baseado no bloco ControlNet).
exemplo mostrando desenho ao vivo
exemplo mostrando a mudança de estilo (interior)
exemplo mostrando a mudança de estilo (exterior)
Muitas novas funções foram adicionadas recentemente:
recentemente incorporamos um novo sistema de camadas, onde o usuário pode desenhar linhas pretas (para alimentar o ControlNet Scribble) ou pinceladas coloridas (para segmentação ControlNet). Consulte 'Usar o aplicativo'. NOTA: Você ainda pode encontrar a versão antiga na seção ‘lançamentos’.
Escolha um 'tipo' de projeto arquitetônico (renderização externa, elevação de fachada, renderização interna, ...) e um estilo. À esquerda, você encontrará a área de desenho. Você pode adicionar linhas pretas para definir as linhas importantes do seu desenho ou zonas coloridas (um mapa semântico) para definir onde objetos específicos devem ser colocados (uma árvore, uma janela, etc.). Um código de cores específico está associado a cada tipo de objeto. Você não precisa se preocupar em escolher a cor certa, pois a interface gráfica permite selecionar diretamente o objeto a ser desenhado. O processo de desenho em si é totalmente padrão. Escolha sua ferramenta e desenhe! (ou excluir). Você verá a imagem proposta adaptada ao vivo (uma caixa de seleção permite desativar a inferência ao vivo).
exemplo mostrando o uso do pincel de segmentação (interior)
Se você não tiver inspiração ou para fins de teste, um exemplo de desenho de rabisco pode ser gerado automaticamente.
As imagens também podem ser importadas para gerar automaticamente rabiscos e/ou segmentação.
Também adicionamos uma função de captura de tela. ele cria uma caixa de captura (borda azul) que pode ser arrastada e irá gerar rabiscos com base na zona capturada. Quando estiver satisfeito com a captura, clique novamente na ferramenta para desativá-la. Permite trabalhar com ferramentas poderosas como entrada (Adobe Illustrator, Inkscape, ...).
Função de captura de tela com Inkscape como entrada
A renderização pode ser exportada em alta resolução, graças a um upscaler ControlNet. Mais opções serão integradas em breve!
Upscaling (renderização exterior artística)
Upscaling (renderização interior realista)
O suporte para mídia de desenho foi incluído recentemente. A pressão da caneta deve ser detectada. Testado em Ipad Pro + EasyCanvas.
O desenho ao vivo requer uma GPU forte. Aconselho reduzir o tamanho da imagem (em main.py) se estiver muito lento! O upscale de imagem exige muito da GPU...
Por padrão, o aplicativo usa Dreamshaper (https://huggingface.co/Lykon/dreamshaper-8). Modelos personalizados podem ser adicionados na pasta dedicada ('custom_models'). Qualquer ponto de verificação SD1.5 deve funcionar.
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
(veja https://pytorch.org/get-started/locally/)
pip install git+https://github.com/sberbank-ai/Real-ESRGAN.git
https://huggingface.co/lllyasviel/sd-controlnet-seg https://huggingface.co/lllyasviel/sd-controlnet-scribble
