Generador de moda conversacional impulsado por genAI
Objetivos
- Generador de atuendos de moda impulsado por inteligencia artificial: desarrolle un sistema de inteligencia artificial conversacional funcional e intuitivo.
- Integración de datos del usuario: integre mecanismos para recopilar y analizar datos del usuario, incluido el historial de compras anteriores y las preferencias de navegación.
- Recomendaciones de vestimenta personalizadas: el generador debe ser capaz de comprender las preferencias de moda únicas de un usuario.
- Análisis de tendencias de redes sociales: implementar funciones que permitan a la IA analizar e incorporar tendencias de moda en tiempo real.
- Bucle de retroalimentación interactiva: permita a los usuarios brindar retroalimentación e interactuar con la IA para perfeccionar las recomendaciones de vestimenta.
- Sugerencias de vestimenta versátiles: la IA debería ser capaz de generar recomendaciones de vestimenta para diversas ocasiones, estilos, edades específicas, regiones específicas y perfiles de usuario.
Caso de uso
P0-Un generador de conjuntos de moda impulsado por IA para Flipkart que revoluciona la forma en que los usuarios descubren y crean conjuntos de moda personalizados, de una manera conversacional natural.
P1: el generador debe considerar factores como el tipo de cuerpo del usuario, la ocasión (por ejemplo, informal, formal, de fiesta) y las preferencias regionales y de edad.
Los usuarios de P2 también deberían poder interactuar con el generador de vestimenta para darle retroalimentación en términos de lo que les gusta y lo que no les gusta y poder modificar la vestimenta a modo de conversación.
P3- El generador puede tener en cuenta los tipos de prendas de vestir que el usuario ve con frecuencia o agrega a su carrito, asegurando que las recomendaciones de vestimenta sean relevantes y atractivas.
P4- Generator ha considerado las preferencias del usuario, los hábitos de navegación y las últimas tendencias de la moda.
Información
The application is tested on python version 3.10 and node version v16.17.0 and npm version 8.15.0
Pila de tecnología
Cliente: Reaccionar, Scss-Sass, Reaccionar-Toastify
Servidor: Python - Django/Django REST
Modelos: Difusión estable XLv1.0, LoRA, ChatGPT-3.5(api)
Nube: Ms Azure - Almacenamiento de blobs
Instalación
Clonar el repositorio
Pasos para ejecutar el backend
- agregue un .env al directorio raíz del repositorio
JWT_SECRET= " "
JWT_ALGORITHM= " "
AZURE_ACCOUNT_URI= " "
AZURE_ACCOUNT_NAME= " "
HUGGING_FACE_TOKEN= " "
OPENAI_API_KEY= " "
- activar un nuevo entorno llamado prueba
py -m venv test
test s cripts a ctivate
pip install -r requirements.txt
- Migrar y ejecutar el servidor
python manage.py migrate
python manage.py runserver
(create a superuser by
python manage.py createsuperuser
to access admin panel)
Pasos para ejecutar Frontend
cd z_client
npm install --legacy-peer-deps
npm start
Metodología
Eliminación de datos
Datos extraídos de los siguientes sitios web:
- Flipkart: del historial de compras y la lista de deseos del usuario
- Pinterest: imágenes con indicaciones de los últimos conjuntos de moda
- Instagram: imágenes con hashtags relacionadas con los últimos outfits de moda.
- Myntra: metadatos de productos de ropa más recientes junto con imágenes
Almacenó todos estos datos en un conjunto de datos y luego envió un conjunto de datos personalizado de tiempo para realizar ajustes.
Modelo generativo
- La difusión estable consta de tres partes: VAE, U-Net y codificador de texto opcional. VAE comprime imágenes, U-Net las elimina. .
- Ajusté este modelo en un conjunto de datos personalizado.
- Modelo implementado en el centro Hugging Face.
- Acceda al modelo a través de la API de inferencia.
- Toma la entrada como mensaje y devuelve un enlace de imagen codificado en base64.
Conversación (función de chat y comentarios)
Se utilizó uno de los mejores modelos de texto, gpt-3.5-turbo, con ajustes finos para extraer información del mensaje ingresado por el usuario, tomar el historial de búsqueda como contexto y generar un nuevo mensaje.
Tomará un nuevo mensaje del usuario, recuperará el historial de la base de datos, enviará solicitudes a través de la clave API de openAI y devolverá el nuevo mensaje generado.
Recomendación (Resultados personalizados)
- Recupera mensajes antiguos de la base de datos.
- Encuentre el mensaje más similar del mensaje ingresado usando la matriz de similitud.
- Si el historial de búsqueda > 2, busque el mensaje más similar en el historial; de lo contrario, hay algunos mensajes predeterminados basados en palabras clave del mensaje del usuario.
Alcance futuro
- Vinculación con Flipkart: esta aplicación se vinculará con Flipkart para que pueda considerar el historial de pedidos del usuario/lista de deseos de Flipkart y pueda proporcionar resultados más personalizados.
- Prueba virtual: se puede integrar con Flipkart para brindar experiencias de prueba virtuales. Los clientes podrían describir el tipo de ropa que buscan y el generador podría proporcionar imágenes personalizadas de modelos que usan esos atuendos, ayudando a los clientes a tomar decisiones de compra informadas.
- Mayor resolución y detalle: mejora la capacidad del generador para producir imágenes detalladas y de alta resolución.
- Aprendizaje continuo: permitir que la modelo aprenda continuamente de las nuevas tendencias de la moda.
- Modelos híbridos: la combinación de la generación de texto a imagen con otras tecnologías de inteligencia artificial, como sistemas de recomendación de estilo o modelos de predicción de tendencias, puede crear soluciones de moda más completas y poderosas.
Autores
- Jai Anand @jaianand
- Nilesh Popli @Adrenex
- Harshit Bajeta @harshitbajeta
Capturas de pantalla