Sketch a Sketch

스케치를 스케치하다

단 몇 번의 스트로크만으로 확산 기반 이미지 생성 제어

HF 공간 데모 | Colab 데모 | 블로그

생성 AI 도구를 가지고 노는 것은 정말 재미있지만, 원하는 특정 이미지를 생성하는 텍스트 프롬프트를 엔지니어링하는 것은 엄청나게 어렵습니다. 생성적 AI 제어를 "더 쉽게" 만드는 것을 목표로 하는 스케치-이미지 도구를 본 적이 있을 것입니다. 그러나 좋은 이미지를 얻으려면 일반적으로 상당히 완전한 스케치로 AI를 제어해야 합니다. 우리 대부분은 그림을 잘 그리지 못하기 때문에 스케치를 사용하여 이미지를 만드는 것이 불가능했습니다.

Sketch-a-Sketch를 사용하면 몇 번의 획만 있는 간단한 스케치(우리 대부분이 그릴 수 있는 스케치)를 사용하여 작동하기 때문에 스케치에서 생성 AI의 출력을 훨씬 쉽게 제어할 수 있습니다.

프롬프트: "중세의 성, 사실적"

스케치 입력	생성된 이미지	추천 노선

그것이 어떻게 작동하는지에 대한 아이디어를 얻으려면 팀원들이 가능한 한 빨리 그리려는 물체를 추측해야 하는 Pictionary 게임을 생각해 보십시오. 당신이 게임에 능숙하다면 팀원들은 몇 번의 스트로크(부분 스케치) 후에 당신이 묘사하려는 것이 무엇인지 추측할 것입니다. 팀이 무엇을 그리려는지 추측할 수 없는 경우 개념을 더 명확하게 하기 위해 계속 스케치하여 세부 사항을 추가하면 됩니다.

Sketch-a-Sketch를 사용하면 생성 AI를 제어하는 ​​것이 Pictionary를 플레이하는 것과 매우 유사합니다. 몇 개의 획을 스케치하기만 하면 AI가 사용자가 그리려는 내용을 추측하고 고품질 최종 이미지에 대한 제안을 제공합니다. AI가 원하는 이미지를 제공하지 않더라도 걱정하지 마세요. 원하는 이미지를 더 명확하게 만들기 위해 몇 개의 획을 더 그리고 AI가 원하는 이미지를 생성할 때까지 계속 반복하세요.

더욱이 Sketch-a-Sketch는 "성공적인" 스케치를 만드는 데 도움이 됩니다. 스케치하는 동안 Sketch-a-Sketch 시스템은 AI가 원하는 최종 이미지를 추측하는 데 가장 도움이 될 미래 선에 대한 제안을 표시합니다.

블로그를 확인하고, 데모를 사용해 자신만의 스케치를 만들거나, 이 저장소를 복제하고, 요구 사항.txt에서 요구 사항을 설치하고, 데모.py를 실행하여 Gradio 앱을 로컬에서 실행하세요.

그라디오 지침

인터페이스의 "스케치" 탭에서 스케치를 그리고 "렌더링"을 클릭하여 해당 이미지를 생성합니다. 렌더링 후 "제안된 선" 탭으로 전환하여 그릴 다음 제안된 선을 시각화합니다. 제안 생성을 중지하려면 "제안 라인 생성" 확인란을 선택 취소하세요. 새 그림을 시작하고 싶을 때마다 "재설정"을 클릭하세요.

완전히 빈 스케치로 "렌더링"을 클릭하면 Gradio 버그가 발생하므로 "렌더링"을 클릭하기 전에 최소한 한 줄 이상 그려주세요.