Sketch a Sketch

Esboçar um esboço

Controlando a geração de imagens baseada em difusão com apenas alguns traços

Demonstração de Espaços HF | Demonstração do Colab | Blogue

É muito divertido brincar com ferramentas generativas de IA, mas é incrivelmente difícil criar prompts de texto que produzam as imagens específicas que você deseja. Você provavelmente já viu ferramentas de esboço para imagem que visam tornar “mais fácil” o controle da IA ​​generativa, mas para obter uma boa imagem, normalmente você precisa controlar a IA com um esboço bastante completo. Como a maioria de nós não é muito boa em desenhar, isso nos impediu de usar o esboço na imagem.

Sketch-a-Sketch torna muito mais fácil controlar a saída da IA ​​generativa a partir de esboços, porque funciona usando esboços simples que possuem apenas alguns traços – esboços que a maioria de nós pode desenhar.

Dica: "Um castelo medieval, realista"

Esboço de entrada	Imagem gerada	Linhas sugeridas

Para você ter uma ideia de como funciona, pense no jogo Pictionary, onde seus companheiros devem adivinhar o objeto que você está tentando desenhar o mais rápido possível. Se você for bom no jogo, seus companheiros de equipe adivinharão o que você está tentando representar depois de apenas algumas tacadas (um esboço parcial). Se sua equipe não consegue adivinhar o que você está tentando desenhar, basta continuar desenhando para adicionar detalhes e tornar o conceito mais claro.

Com Sketch-a-Sketch , controlar a IA generativa é muito parecido com jogar Pictionary: basta esboçar alguns traços e a IA adivinhará o que você está tentando desenhar e lhe dará sugestões para imagens finais de alta qualidade. Se a IA não estiver fornecendo as imagens desejadas, não se preocupe. Basta desenhar mais alguns traços para tornar a imagem desejada mais clara e continuar iterando até que a IA crie as imagens que você esperava.

Melhor ainda, Sketch-a-Sketch irá ajudá-lo a criar esboços “vencedores”. À medida que você esboça, o sistema Sketch-a-Sketch mostrará sugestões para linhas futuras que serão mais úteis para ajudar a IA a adivinhar qual imagem final você deseja.

Confira nosso blog, experimente nossa demonstração para fazer seus próprios esboços ou execute o aplicativo Gradio localmente clonando este repositório, instalando requisitos de requisitos.txt e executando demo.py.

Instruções de rádio

Na interface, desenhe seu esboço na aba “Esboço” e clique em “Renderizar” para gerar as imagens correspondentes. Após a renderização, mude para a guia "Linhas sugeridas" para visualizar as próximas linhas sugeridas para desenhar. Desmarque a caixa de seleção "Gerar linhas sugeridas" se desejar parar de gerar sugestões. Sempre que desejar iniciar um novo desenho, basta clicar em “Redefinir”.

Observe que há um bug do Gradio associado ao clicar em "Renderizar" com um esboço totalmente vazio , então desenhe pelo menos uma linha antes de clicar em "Renderizar"