genAI가 제공하는 대화형 패션 생성기
목표
- Gen AI 기반 패션 의상 생성기: 기능적이고 직관적인 대화형 AI 시스템을 개발합니다.
- 사용자 데이터 통합: 과거 구매 내역, 검색 기본 설정 등 사용자 데이터를 수집하고 분석하는 메커니즘을 통합합니다.
- 개인화된 의상 추천: 생성기는 사용자의 고유한 패션 선호도를 이해할 수 있어야 합니다.
- 소셜미디어 트렌드 분석 : AI가 실시간 패션 트렌드를 분석하고 반영할 수 있는 기능을 구현합니다.
- 대화형 피드백 루프: 사용자가 피드백을 제공하고 AI와 상호 작용하여 의상 추천을 개선할 수 있습니다.
- 다양한 의상 제안: AI는 다양한 행사, 스타일, 연령별, 지역별 및 사용자 프로필에 대한 의상 추천을 생성할 수 있어야 합니다.
사용 사례
P0-An Gen AI 기반 Flipkart용 패션 의상 생성기는 사용자가 자연스러운 대화 방식으로 맞춤형 패션 의상을 발견하고 만드는 방식에 혁명을 일으켰습니다.
P1-생성기는 사용자의 신체 유형, 행사(예: 캐주얼, 정장, 파티), 지역 및 연령 선호도와 같은 요소를 고려해야 합니다.
P2 사용자는 의상 생성기와 상호 작용하여 자신이 좋아하는 것과 좋아하지 않는 것에 대한 피드백을 제공하고 대화 방식으로 의상을 조정할 수 있어야 합니다.
P3- 생성기는 사용자가 자주 보거나 장바구니에 추가하는 의류 품목의 유형을 고려하여 의상 추천이 관련성이 있고 매력적인지 확인할 수 있습니다.
P4-Generator는 사용자의 선호도, 탐색 습관 및 최신 패션 트렌드를 고려했습니다.
정보
The application is tested on python version 3.10 and node version v16.17.0 and npm version 8.15.0
기술 스택
클라이언트: React, Scss-Sass, React-Toastify
서버: Python - Django/Django REST
모델: Stable Diffusion XLv1.0, LoRA, ChatGPT-3.5(api)
클라우드: Ms Azure - Blob 저장소
설치
저장소 복제
백엔드 실행 단계
- 저장소의 루트 디렉터리에 .env를 추가합니다.
JWT_SECRET= " "
JWT_ALGORITHM= " "
AZURE_ACCOUNT_URI= " "
AZURE_ACCOUNT_NAME= " "
HUGGING_FACE_TOKEN= " "
OPENAI_API_KEY= " "
py -m venv test
test s cripts a ctivate
pip install -r requirements.txt
python manage.py migrate
python manage.py runserver
(create a superuser by
python manage.py createsuperuser
to access admin panel)
프런트엔드 실행 단계
cd z_client
npm install --legacy-peer-deps
npm start
방법론
데이터 스크래핑
다음 웹사이트에서 스크랩한 데이터:
- Flipkart - 사용자의 구매 내역 및 위시리스트에서
- Pinterest - 최신 유행 의상에 대한 즉각적인 이미지
- 인스타그램 - 트렌디한 최신 의상과 관련된 해시태그가 포함된 이미지입니다.
- Myntra - 이미지와 함께 최신 의류 제품 메타데이터
이 모든 데이터를 데이터 세트에 저장한 다음 미세 조정을 위해 시간 사용자 정의 데이터 세트를 보냈습니다.
생성 모델
- Stable Diffusion은 VAE, U-Net 및 선택적 텍스트 인코더의 세 부분으로 구성됩니다. VAE는 이미지를 압축하고 U-Net은 이미지의 노이즈를 제거합니다. .
- 사용자 정의 데이터 세트에서 이 모델을 미세 조정했습니다.
- Hugging Face 허브에 모델을 배포했습니다.
- 추론 API를 통해 모델에 액세스합니다.
- 프롬프트로 입력을 받아 base64로 인코딩된 이미지 링크를 반환합니다.
대화(채팅 및 피드백 기능)
사용자가 입력한 프롬프트에서 정보를 추출하고 검색 기록을 컨텍스트로 사용하고 새 프롬프트를 생성하기 위해 미세 조정이 포함된 최고의 텍스트 모델 gpt-3.5-turbo 중 하나를 사용했습니다.
사용자로부터 새로운 프롬프트를 받고, DB에서 기록을 가져오고, openAI API 키를 통해 요청을 보내고, 새로 생성된 프롬프트를 반환합니다.
추천(맞춤형 결과)
- 데이터베이스에서 이전 프롬프트를 가져옵니다.
- 유사성 매트릭스를 사용하여 입력된 프롬프트에서 가장 유사한 프롬프트를 찾습니다.
- 검색 기록 > 2인 경우 기록에서 가장 유사한 프롬프트를 찾고 그렇지 않으면 사용자 프롬프트의 키워드를 기반으로 하는 일부 기본 프롬프트가 있습니다.
미래 범위
- Flipkart와 연결: 이 애플리케이션은 Flipkart의 사용자 주문 내역/위시리스트를 고려하여 보다 개인화된 결과를 제공할 수 있도록 Flipkart와 연결됩니다.
- 가상 체험: Flipkart와 통합하여 가상 체험을 제공할 수 있습니다. 고객은 자신이 찾고 있는 의류 유형을 설명할 수 있으며 생성기는 해당 의상을 입은 모델의 개인화된 이미지를 제공하여 고객이 정보에 입각한 구매 결정을 내리는 데 도움을 줄 수 있습니다.
- 더 높은 해상도 및 세부 묘사: 고해상도 및 세부 이미지를 생성하는 생성기의 기능을 향상합니다.
- 지속적인 학습: 모델이 새로운 패션 트렌드로부터 지속적으로 학습할 수 있도록 합니다.
- 하이브리드 모델: 텍스트-이미지 생성을 스타일 추천 시스템이나 트렌드 예측 모델과 같은 다른 AI 기술과 결합하면 보다 포괄적이고 강력한 패션 솔루션을 만들 수 있습니다.
저자
- 자이 아난드 @jaianand
- 닐레쉬 포플리 @Adrenex
- 하쉬트 바제타 @harshitbajeta
스크린샷