Sketch a Sketch

Esquisse-une-esquisse

Contrôler la génération d'images par diffusion en quelques gestes seulement

Démo Espaces HF | Démo Colab | Blogue

C'est vraiment amusant de jouer avec des outils d'IA générative, mais il est incroyablement difficile de créer des invites textuelles qui produisent les images spécifiques souhaitées. Vous avez probablement vu des outils de conversion d'esquisse en image qui visent à rendre "plus facile" le contrôle de l'IA générative, mais pour obtenir une bonne image, vous devez généralement contrôler l'IA avec une esquisse assez complète. Étant donné que la plupart d’entre nous ne sont pas doués en dessin, cela nous empêche d’utiliser le croquis pour créer une image.

Sketch-a-Sketch facilite grandement le contrôle de la sortie de l'IA générative à partir d'esquisses, car il fonctionne à l'aide d'esquisses simples ne comportant que quelques traits - des esquisses que la plupart d'entre nous peuvent dessiner.

Invite : "Un château médiéval, réaliste"

Esquisse d'entrée	Image générée	Lignes suggérées

Pour vous donner une idée de son fonctionnement, pensez au jeu de Pictionary, où vos coéquipiers doivent deviner le plus rapidement possible l'objet que vous essayez de dessiner. Si vous êtes doué dans le jeu, vos coéquipiers devineront ce que vous essayez de représenter après seulement quelques traits (un croquis partiel). Si votre équipe ne peut pas deviner ce que vous essayez de dessiner, continuez simplement à dessiner pour ajouter des détails afin de rendre le concept plus clair.

Avec Sketch-a-Sketch , contrôler l'IA générative ressemble beaucoup à jouer à Pictionary : il suffit d'esquisser quelques traits, et l'IA devinera ce que vous essayez de dessiner et vous proposera des suggestions d'images finales de haute qualité. Si l’IA ne vous donne pas les images souhaitées, ne vous inquiétez pas. Dessinez simplement quelques traits supplémentaires pour rendre l'image souhaitée plus claire et continuez à itérer jusqu'à ce que l'IA crée les images que vous espériez.

Mieux encore, Sketch-a-Sketch vous aidera à créer des croquis « gagnants ». Pendant que vous dessinez, le système Sketch-a-Sketch vous montrera des suggestions de lignes futures qui seront les plus utiles pour aider l'IA à deviner quelle image finale vous voulez.

Consultez notre blog, essayez notre démo pour créer vos propres croquis ou exécutez l'application Gradio localement en clonant ce référentiel, en installant les exigences à partir de Requirements.txt et en exécutant demo.py.

Instructions pour Gradio

Dans l'interface, dessinez votre croquis sur l'onglet "Esquisse", et cliquez sur "Rendu" pour générer les images correspondantes. Après le rendu, passez à l'onglet "Lignes suggérées" pour visualiser les prochaines lignes suggérées à dessiner. Décochez la case « Générer des lignes suggérées » si vous souhaitez arrêter de générer des suggestions. Chaque fois que vous souhaitez commencer un nouveau dessin, cliquez simplement sur "Réinitialiser".

Notez qu'il existe un bug Gradio associé au clic sur "Render" avec une esquisse entièrement vide , veuillez donc tracer au moins une ligne avant de cliquer sur "Render".