HF Spaces-Demo | Colab-Demo | Blog
Es macht wirklich Spaß, mit generativen KI-Tools zu spielen, aber es ist unglaublich schwierig, Textaufforderungen zu entwickeln, die die gewünschten Bilder erzeugen. Sie haben wahrscheinlich schon Sketch-to-Image-Tools gesehen, die darauf abzielen, die Steuerung generativer KI „einfacher“ zu machen, aber um ein gutes Bild zu erhalten, müssen Sie die KI normalerweise mit einer ziemlich vollständigen Skizze steuern. Da die meisten von uns nicht besonders gut zeichnen können, hindert uns das daran, Skizzen in Bilder umzuwandeln.
Sketch-a-Sketch macht es viel einfacher, die Ausgabe generativer KI aus Skizzen zu steuern, da es mit einfachen Skizzen funktioniert, die nur wenige Striche haben – Skizzen, die die meisten von uns zeichnen können.
Aufforderung: „Eine mittelalterliche Burg, realistisch“
Eingabeskizze | Generiertes Bild | Vorgeschlagene Zeilen |
---|---|---|
Um Ihnen eine Vorstellung davon zu geben, wie es funktioniert, denken Sie an das Pictionary-Spiel, bei dem Ihre Teamkollegen das Objekt, das Sie zeichnen möchten, so schnell wie möglich erraten müssen. Wenn Sie gut im Spiel sind, werden Ihre Teamkameraden bereits nach wenigen Strichen (einer Teilskizze) erraten, was Sie darzustellen versuchen. Wenn Ihr Team nicht erraten kann, was Sie zeichnen möchten, skizzieren Sie einfach weiter, um Details hinzuzufügen und das Konzept klarer zu machen.
Mit Sketch-a-Sketch ähnelt die Steuerung der generativen KI dem Spielen von Pictionary: Skizzieren Sie einfach ein paar Striche, und die KI errät, was Sie zeichnen möchten, und macht Ihnen Vorschläge für qualitativ hochwertige Endbilder. Machen Sie sich keine Sorgen, wenn die KI Ihnen nicht die gewünschten Bilder liefert. Zeichnen Sie einfach noch ein paar Striche, um das gewünschte Bild klarer zu machen, und wiederholen Sie den Vorgang, bis die KI die gewünschten Bilder erstellt.
Noch besser: Sketch-a-Sketch hilft Ihnen dabei, „erfolgreiche“ Skizzen zu erstellen. Während Sie skizzieren, zeigt Ihnen das Sketch-a-Sketch- System Vorschläge für zukünftige Linien, die der KI dabei helfen, zu erraten, welches endgültige Bild Sie möchten.
Schauen Sie sich unseren Blog an, probieren Sie unsere Demo aus, um Ihre eigenen Skizzen zu erstellen, oder führen Sie die Gradio-App lokal aus, indem Sie dieses Repo klonen, Anforderungen aus „requirements.txt“ installieren und demo.py ausführen.
Zeichnen Sie in der Benutzeroberfläche Ihre Skizze auf der Registerkarte „Skizze“ und klicken Sie auf „Rendern“, um die entsprechenden Bilder zu generieren. Wechseln Sie nach dem Rendern zur Registerkarte „Vorgeschlagene Linien“, um die vorgeschlagenen nächsten zu zeichnenden Linien anzuzeigen. Deaktivieren Sie das Kontrollkästchen „Zeilenvorschläge generieren“, wenn Sie die Generierung von Vorschlägen beenden möchten. Wenn Sie eine neue Zeichnung starten möchten, klicken Sie einfach auf „Zurücksetzen“.
Beachten Sie, dass beim Klicken auf „Rendern“ bei einer vollständig leeren Skizze ein Gradio-Fehler auftritt . Zeichnen Sie daher bitte mindestens eine Linie, bevor Sie auf „Rendern“ klicken.