Générateur de mode conversationnelle alimenté par genAI
Objectifs
- Générateur de tenues de mode alimenté par Gen AI : Développez un système d'IA conversationnelle fonctionnel et intuitif.
- Intégration des données utilisateur : intégrez des mécanismes pour collecter et analyser les données utilisateur, y compris l'historique des achats passés et les préférences de navigation.
- Recommandations de tenues personnalisées : le générateur doit être capable de comprendre les préférences de mode uniques d'un utilisateur.
- Analyse des tendances des médias sociaux : implémentez des fonctionnalités qui permettent à l'IA d'analyser et d'intégrer les tendances de la mode en temps réel.
- Boucle de rétroaction interactive : permet aux utilisateurs de fournir des commentaires et d'interagir avec l'IA pour affiner les recommandations de tenues.
- Suggestions de tenues polyvalentes : l'IA devrait être capable de générer des recommandations de tenues pour diverses occasions, styles, profils d'âge, de région et d'utilisateur.
Cas d'utilisation
P0-Un générateur de tenues de mode alimenté par Gen AI pour Flipkart qui révolutionne la façon dont les utilisateurs découvrent et créent des tenues de mode personnalisées, de manière conversationnelle naturelle.
P1-Le générateur doit prendre en compte des facteurs tels que le type de corps de l'utilisateur, l'occasion (par exemple, décontractée, formelle, fête) et les préférences régionales et d'âge.
Les utilisateurs de P2 devraient également pouvoir interagir avec le générateur de tenues pour lui donner des commentaires sur ce qu'ils aiment, ce qu'ils n'aiment pas et pouvoir modifier les tenues à la manière d'une conversation.
P3- Le générateur peut prendre en compte les types de vêtements que l'utilisateur consulte ou ajoute fréquemment à son panier, garantissant ainsi que les recommandations de tenues sont pertinentes et attrayantes.
P4- Generator a pris en compte les préférences des utilisateurs, leurs habitudes de navigation et les dernières tendances de la mode.
Informations
The application is tested on python version 3.10 and node version v16.17.0 and npm version 8.15.0
Pile technologique
Client : React, Scss-Sass, React-Toastify
Serveur : Python - Django/Django REST
Modèles : Diffusion stable XLv1.0, LoRA, ChatGPT-3.5 (api)
Cloud : Mme Azure - Stockage Blob
Installation
Cloner le référentiel
Étapes pour exécuter le backend
- ajouter un .env au répertoire racine du référentiel
JWT_SECRET= " "
JWT_ALGORITHM= " "
AZURE_ACCOUNT_URI= " "
AZURE_ACCOUNT_NAME= " "
HUGGING_FACE_TOKEN= " "
OPENAI_API_KEY= " "
- activer un nouvel environnement nommé test
py -m venv test
test s cripts a ctivate
pip install -r requirements.txt
- Migrer et exécuter le serveur
python manage.py migrate
python manage.py runserver
(create a superuser by
python manage.py createsuperuser
to access admin panel)
Étapes pour exécuter Frontend
cd z_client
npm install --legacy-peer-deps
npm start
Méthodologie
Mise au rebut des données
Données récupérées des sites Web suivants :
- Flipkart - à partir de l'historique des achats et de la liste de souhaits de l'utilisateur
- Pinterest - images avec invite, des dernières tenues à la mode
- Instagram – Images avec hashtags, liées aux dernières tenues tendance.
- Myntra - Dernières métadonnées des produits vestimentaires ainsi que des images
Stocké toutes ces données dans un ensemble de données, puis envoyé un ensemble de données personnalisé pour un réglage précis.
Modèle Génératif
- La diffusion stable comprend trois parties : VAE, U-Net et un encodeur de texte en option. VAE compresse les images, U-Net les débruite. .
- Affinement de ce modèle sur un ensemble de données personnalisé.
- Modèle déployé sur le hub Hugging Face.
- Accédez au modèle via l'API d'inférence.
- Prend l'entrée comme invite, renvoie le lien d'image codé en base64.
Conversation (fonctionnalité de discussion et de commentaires)
Utilisation de l'un des meilleurs modèles de texte gpt-3.5-turbo avec un réglage précis pour extraire les informations de l'invite saisie par l'utilisateur, en prenant l'historique de recherche comme contexte et en générant une nouvelle invite.
Il faudra une nouvelle invite de l'utilisateur, récupérera l'historique de la base de données, enverra des requêtes via la clé API openAI et renverra la nouvelle invite générée.
Recommandation (résultats personnalisés)
- Récupérez les anciennes invites de la base de données.
- Recherchez l'invite la plus similaire à partir de l'invite saisie à l'aide de la matrice de similarité.
- Si l'historique de recherche > 2, recherchez l'invite la plus similaire dans l'historique, sinon il existe des invites par défaut basées sur des mots-clés de l'invite de l'utilisateur.
Portée future
- Lien avec Flipkart : cette application sera liée à Flipkart afin de pouvoir prendre en compte l'historique des commandes des utilisateurs/la liste de souhaits de Flipkart et de fournir des résultats plus personnalisés.
- Essai virtuel : peut être intégré à Flipkart pour offrir des expériences d'essai virtuel. Les clients pourraient décrire le type de vêtements qu'ils recherchent et le générateur pourrait fournir des images personnalisées de modèles portant ces tenues, aidant ainsi les clients à prendre des décisions d'achat éclairées.
- Résolution et détails plus élevés : amélioration de la capacité du générateur à produire des images haute résolution et détaillées.
- Apprentissage continu : permettre au mannequin d'apprendre en permanence des nouvelles tendances de la mode
- Modèles hybrides : la combinaison de la génération de texte en image avec d'autres technologies d'IA, telles que les systèmes de recommandation de style ou les modèles de prédiction de tendances, peut créer des solutions de mode plus complètes et plus puissantes.
Auteurs
- Jai Anand @jaianand
- Nilesh Popli @Adrenex
- Harshit Bajeta @harshitbajeta
Captures d'écran