Konversationsmode-Generator mit Unterstützung von genAI
Ziele
- Gen AI-gestützter Mode-Outfit-Generator: Entwickeln Sie ein funktionales und intuitives Konversations-KI-System.
- Benutzerdatenintegration: Integrieren Sie Mechanismen zum Sammeln und Analysieren von Benutzerdaten, einschließlich früherer Kaufhistorien und Browsereinstellungen.
- Personalisierte Outfit-Empfehlungen: Der Generator sollte in der Lage sein, die individuellen Modevorlieben eines Benutzers zu verstehen.
- Social-Media-Trendanalyse: Implementieren Sie Funktionen, die es der KI ermöglichen, Modetrends in Echtzeit zu analysieren und zu integrieren.
- Interaktive Feedback-Schleife: Ermöglichen Sie Benutzern, Feedback zu geben und mit der KI zu interagieren, um Outfit-Empfehlungen zu verfeinern.
- Vielseitige Outfit-Vorschläge: Die KI soll in der Lage sein, Outfit-Empfehlungen für verschiedene Anlässe, Stile, altersspezifische, regionale Besonderheiten und Benutzerprofile zu generieren.
Anwendungsfall
P0 – Ein KI-gestützter Mode-Outfit-Generator der Generation für Flipkart, der die Art und Weise revolutioniert, wie Benutzer personalisierte Mode-Outfits auf natürliche Weise entdecken und erstellen.
P1 – Der Generator sollte Faktoren wie den Körpertyp des Benutzers, den Anlass (z. B. lässig, formell, Party) sowie regionale und Alterspräferenzen berücksichtigen.
P2-Benutzer sollten auch in der Lage sein, mit dem Outfit-Generator zu interagieren, um ihm Feedback zu geben, was ihnen gefällt und was nicht, und die Outfits in der Art eines Gesprächs zu optimieren.
P3 – Der Generator kann die Arten von Kleidungsstücken berücksichtigen, die der Benutzer häufig ansieht oder in seinen Warenkorb legt, um sicherzustellen, dass die Outfitempfehlungen relevant und ansprechend sind.
P4-Generator hat die Vorlieben, Surfgewohnheiten und neuesten Modetrends der Benutzer berücksichtigt.
Info
The application is tested on python version 3.10 and node version v16.17.0 and npm version 8.15.0
Tech-Stack
Kunde: React, Scss-Sass, React-Toastify
Server: Python – Django/Django REST
Modelle: Stable Diffusion XLv1.0, LoRA, ChatGPT-3.5(api)
Cloud: Ms Azure – Blob Storage
Installation
Klonen Sie das Repository
Schritte zum Ausführen des Backends
- Fügen Sie eine .env zum Stammverzeichnis des Repositorys hinzu
JWT_SECRET= " "
JWT_ALGORITHM= " "
AZURE_ACCOUNT_URI= " "
AZURE_ACCOUNT_NAME= " "
HUGGING_FACE_TOKEN= " "
OPENAI_API_KEY= " "
- Aktivieren Sie eine neue Umgebung namens test
py -m venv test
test s cripts a ctivate
pip install -r requirements.txt
- Server migrieren und ausführen
python manage.py migrate
python manage.py runserver
(create a superuser by
python manage.py createsuperuser
to access admin panel)
Schritte zum Ausführen des Frontends
cd z_client
npm install --legacy-peer-deps
npm start
Methodik
Datenverschrottung
Gekratzte Daten von den folgenden Websites:
- Flipkart – aus der Kaufhistorie und der Wunschliste des Benutzers
- Pinterest – Bilder mit sofortiger Wirkung, von trendigen neuesten Outfits
- Instagram – Bilder mit Hashtags, die sich auf trendige, neueste Outfits beziehen.
- Myntra – Neueste Metadaten zu Bekleidungsprodukten zusammen mit Bildern
Alle diese Daten wurden in einem Datensatz gespeichert und dann zur Feinabstimmung an einen benutzerdefinierten Zeitdatensatz gesendet.
Generatives Modell
- Stable Diffusion besteht aus drei Teilen: VAE, U-Net und optionalem Text-Encoder. VAE komprimiert Bilder, U-Net entrauscht sie. .
- Dieses Modell wurde für einen benutzerdefinierten Datensatz optimiert.
- Bereitgestelltes Modell auf dem Hugging Face-Hub.
- Greifen Sie über die Inferenz-API auf das Modell zu.
- Nimmt die Eingabe als Eingabeaufforderung entgegen und gibt einen Base64-codierten Bildlink zurück.
Konversation (Chat- und Feedback-Funktion)
Verwendet eines der besten Textmodelle gpt-3.5-turbo mit Feinabstimmung, um Informationen aus der vom Benutzer eingegebenen Eingabeaufforderung zu extrahieren, den Suchverlauf als Kontext zu verwenden und eine neue Eingabeaufforderung zu generieren.
Es nimmt eine neue Eingabeaufforderung vom Benutzer entgegen, ruft den Verlauf aus der Datenbank ab, sendet Anforderungen über den openAI-API-Schlüssel und gibt die neu generierte Eingabeaufforderung zurück
Empfehlung (personalisierte Ergebnisse)
- Alte Eingabeaufforderungen aus der Datenbank abrufen.
- Finden Sie mithilfe der Ähnlichkeitsmatrix die Eingabeaufforderung, die der eingegebenen Eingabeaufforderung am ähnlichsten ist.
- Wenn der Suchverlauf > 2 ist, suchen Sie die ähnlichste Eingabeaufforderung aus dem Verlauf. Andernfalls gibt es einige Standardeingabeaufforderungen, die auf Schlüsselwörtern aus der Benutzereingabeaufforderung basieren.
Zukünftiger Umfang
- Verknüpfung mit Flipkart: Diese Anwendung wird mit Flipkart verknüpft, sodass sie die Bestellhistorie/Wunschliste des Benutzers von Flipkart berücksichtigen und personalisiertere Ergebnisse liefern kann.
- Virtuelles Anprobieren: Kann in Flipkart integriert werden, um virtuelle Anprobeerlebnisse zu ermöglichen. Kunden könnten die Art von Kleidung beschreiben, nach der sie suchen, und der Generator könnte personalisierte Bilder von Models liefern, die diese Outfits tragen, und so den Kunden helfen, fundierte Kaufentscheidungen zu treffen.
- Höhere Auflösung und Details: Verbesserung der Fähigkeit des Generators, hochauflösende und detaillierte Bilder zu erzeugen.
- Kontinuierliches Lernen: Ermöglicht dem Model, kontinuierlich von neuen Modetrends zu lernen
- Hybride Modelle: Durch die Kombination der Text-zu-Bild-Generierung mit anderen KI-Technologien wie Stilempfehlungssystemen oder Trendvorhersagemodellen können umfassendere und leistungsfähigere Modelösungen entstehen.
Autoren
- Jai Anand @jaianand
- Nilesh Popli @Adrenex
- Harshit Bajeta @harshitbajeta
Screenshots