Sketch a Sketch

Эскиз-на-эскизе

Управление генерацией изображений на основе диффузии всего несколькими движениями

Демонстрация HF Spaces | Демо-версия Colab | Блог

Играть с генеративными инструментами искусственного интеллекта действительно весело, но невероятно сложно спроектировать текстовые подсказки, которые создают нужные вам конкретные изображения. Вы, вероятно, видели инструменты преобразования эскизов в изображения, целью которых является «облегчение» управления генеративным ИИ, но чтобы получить хорошее изображение, вам обычно нужно управлять ИИ с помощью достаточно полного эскиза. Поскольку большинство из нас не очень хорошо рисуют, это не позволяет большинству из нас использовать эскиз для изображения.

Sketch-a-Sketch значительно упрощает управление результатами генеративного ИИ на основе эскизов, поскольку он работает с использованием простых эскизов, состоящих всего из нескольких штрихов — эскизов, которые может нарисовать большинство из нас.

Подсказка: «Реалистичный средневековый замок».

Входной эскиз	Сгенерированное изображение	Предлагаемые строки

Чтобы дать вам представление о том, как это работает, вспомните игру Pictionary, где ваши товарищи по команде должны как можно быстрее угадать объект, который вы пытаетесь нарисовать. Если вы хорошо играете, ваши товарищи по команде догадаются, что вы пытаетесь изобразить, всего за несколько штрихов (частичный набросок). Если ваша команда не может угадать, что вы пытаетесь нарисовать, вы просто продолжаете рисовать, добавляя детали и делая концепцию более понятной.

С помощью Sketch-a-Sketch управление генеративным ИИ во многом похоже на игру в Pictionary: просто нарисуйте несколько штрихов, и ИИ угадает, что вы пытаетесь нарисовать, и предложит вам высококачественные окончательные изображения. Если ИИ не дает вам нужные изображения, не волнуйтесь. Просто нарисуйте еще несколько штрихов, чтобы сделать желаемое изображение более четким, и продолжайте повторять, пока ИИ не создаст изображения, на которые вы надеялись.

Более того, Sketch-a-Sketch поможет вам создавать «выигрышные» эскизы. Пока вы рисуете, система Sketch-a-Sketch будет предлагать вам варианты будущих линий, которые помогут ИИ угадать, какое окончательное изображение вы хотите.

Посетите наш блог, попробуйте нашу демоверсию, чтобы создать свои собственные эскизы, или запустите приложение Gradio локально, клонировав этот репозиторий, установив требования из файла require.txt и запустив demo.py.

Инструкции по градиенту

В интерфейсе нарисуйте свой эскиз на вкладке «Эскиз» и нажмите «Рендеринг», чтобы сгенерировать соответствующие изображения. После рендеринга переключитесь на вкладку «Предлагаемые линии», чтобы визуализировать предлагаемые следующие линии для рисования. Снимите флажок «Создавать предлагаемые строки», если вы хотите прекратить создание предложений. Всякий раз, когда вы хотите начать новый рисунок, просто нажмите «Сбросить».

Обратите внимание, что при нажатии кнопки «Рендеринг» при полностью пустом эскизе возникает ошибка градиента , поэтому перед нажатием кнопки «Рендеринг» нарисуйте хотя бы одну линию.