Генератор разговорной моды на базе genAI
Цели
- Генератор модной одежды на основе искусственного интеллекта: разработайте функциональную и интуитивно понятную диалоговую систему искусственного интеллекта.
- Интеграция пользовательских данных: интеграция механизмов для сбора и анализа пользовательских данных, включая историю прошлых покупок, предпочтения просмотра.
- Персонализированные рекомендации по одежде: генератор должен быть способен понимать уникальные модные предпочтения пользователя.
- Анализ тенденций в социальных сетях: реализуйте функции, которые позволяют ИИ анализировать и учитывать модные тенденции в режиме реального времени.
- Интерактивный цикл обратной связи: позволяет пользователям оставлять отзывы и взаимодействовать с ИИ для уточнения рекомендаций по экипировке.
- Универсальные предложения по одежде: ИИ должен быть способен генерировать рекомендации по одежде для различных случаев, стилей, возраста, региона и профилей пользователей.
Вариант использования
Генератор модной одежды P0-An Gen для Flipkart на базе искусственного интеллекта, который революционизирует способ, которым пользователи находят и создают персонализированные модные наряды естественным диалоговым способом.
P1. Генератор должен учитывать такие факторы, как тип телосложения пользователя, повод (например, повседневный, формальный, вечеринка), а также региональные и возрастные предпочтения.
Пользователи P2 также должны иметь возможность взаимодействовать с генератором экипировки, чтобы давать ему обратную связь о том, что им нравится, а что нет, и иметь возможность настраивать наряды в форме разговора.
P3. Генератор может учитывать типы предметов одежды, которые пользователь часто просматривает или добавляет в корзину, гарантируя, что рекомендации по одежде будут актуальными и привлекательными.
P4-Generator учел предпочтения пользователя, привычки просмотра и последние тенденции моды.
Информация
The application is tested on python version 3.10 and node version v16.17.0 and npm version 8.15.0
Технический стек
Клиент: React, Scss-Sass, React-Toastify
Сервер: Python — Django/Django REST
Модели: Stable Diffusion XLv1.0, LoRA, ChatGPT-3.5(api)
Облако: Ms Azure — хранилище BLOB-объектов
Установка
Клонировать репозиторий
Шаги по запуску бэкэнда
- добавьте .env в корневой каталог репозитория
JWT_SECRET= " "
JWT_ALGORITHM= " "
AZURE_ACCOUNT_URI= " "
AZURE_ACCOUNT_NAME= " "
HUGGING_FACE_TOKEN= " "
OPENAI_API_KEY= " "
- активируйте новую среду с именем test
py -m venv test
test s cripts a ctivate
pip install -r requirements.txt
- Миграция и запуск сервера
python manage.py migrate
python manage.py runserver
(create a superuser by
python manage.py createsuperuser
to access admin panel)
Шаги по запуску фронтенда
cd z_client
npm install --legacy-peer-deps
npm start
Методология
Удаление данных
Соскобленные данные со следующих сайтов:
- Flipkart - из истории покупок пользователя и списка желаний
- Pinterest — изображения с наглядными, модными последними нарядами
- Instagram — изображения с хэштегами, связанными с модными и последними нарядами.
- Myntra — метаданные новейших товаров одежды вместе с изображениями
Сохранил все эти данные в набор данных, а затем отправил специальный набор данных для точной настройки.
Генеративная модель
- Stable Diffusion включает в себя три части: VAE, U-Net и дополнительный текстовый кодер. VAE сжимает изображения, U-Net удаляет с них шум. .
- Точная настройка этой модели для пользовательского набора данных.
- Развернутая модель в хабе Hugging Face.
- Доступ к модели через API вывода.
- Принимает ввод в качестве приглашения и возвращает ссылку на изображение в кодировке Base64.
Разговор (функция чата и обратной связи)
Использована одна из лучших текстовых моделей gpt-3.5-turbo с тонкой настройкой для извлечения информации из введенного пользователем приглашения, использования истории поиска в качестве контекста и создания нового приглашения.
Он получит новое приглашение от пользователя, извлечет историю из БД, отправит запросы через ключ API openAI и вернет новое сгенерированное приглашение.
Рекомендация (персонализированные результаты)
- Получить старые запросы из базы данных.
- Найдите наиболее похожую подсказку из введенной подсказки, используя матрицу сходства.
- Если история поиска > 2, найдите наиболее похожую подсказку в истории, иначе есть подсказки по умолчанию, основанные на ключевых словах из подсказки пользователя.
Будущая сфера применения
- Связь с Flipkart: это приложение будет связано с Flipkart, чтобы оно могло учитывать историю заказов пользователя/список желаний из Flipkart и предоставлять более персонализированные результаты.
- Виртуальная примерка: может быть интегрирована с Flipkart для обеспечения виртуальной примерки. Клиенты могут описать тип одежды, которую они ищут, а генератор может предоставить персонализированные изображения моделей, носящих эту одежду, помогая клиентам принимать обоснованные решения о покупке.
- Более высокое разрешение и детализация: улучшение способности генератора создавать детальные изображения с высоким разрешением.
- Постоянное обучение: предоставление модели возможности постоянно учиться на новых модных тенденциях.
- Гибридные модели. Сочетание преобразования текста в изображение с другими технологиями искусственного интеллекта, такими как системы рекомендаций по стилю или модели прогнозирования тенденций, может создать более комплексные и мощные решения в сфере моды.
Авторы
- Джай Ананд @jaianand
- Нилеш Попли @Adrenex
- Харшит Бажета @harshitbajeta
Скриншоты
