Generator Mode Percakapan didukung oleh genAI
Tujuan
- Generator Pakaian Fesyen Bertenaga AI: Kembangkan sistem AI percakapan yang fungsional dan intuitif.
- Integrasi Data Pengguna: Mengintegrasikan mekanisme untuk mengumpulkan dan menganalisis data pengguna, termasuk riwayat pembelian sebelumnya, preferensi penelusuran.
- Rekomendasi Pakaian yang Dipersonalisasi: Generator harus mampu memahami preferensi mode unik pengguna.
- Analisis Tren Media Sosial: Menerapkan fitur yang memungkinkan AI menganalisis dan menggabungkan tren mode secara real-time.
- Putaran Umpan Balik Interaktif: Memungkinkan pengguna memberikan umpan balik dan berinteraksi dengan AI untuk menyempurnakan rekomendasi pakaian.
- Saran Pakaian Serbaguna: AI harus mampu menghasilkan rekomendasi pakaian untuk berbagai kesempatan, gaya, usia, regional, dan profil pengguna.
Kasus Penggunaan
P0-Gen generator pakaian fesyen bertenaga AI untuk Flipkart yang merevolusi cara pengguna menemukan dan membuat pakaian fesyen yang dipersonalisasi, dengan cara percakapan yang alami.
P1-Generator harus mempertimbangkan faktor-faktor seperti tipe tubuh pengguna, acara (misalnya santai, formal, pesta), dan preferensi regional dan usia.
Pengguna P2 juga harus dapat berinteraksi dengan pembuat pakaian untuk memberikan umpan balik mengenai apa yang mereka suka, tidak suka, dan dapat mengubah pakaian sesuai dengan percakapan.
P3- Generator dapat memperhitungkan jenis item pakaian yang sering dilihat pengguna atau ditambahkan ke keranjang mereka, memastikan bahwa rekomendasi pakaian tersebut relevan dan menarik.
P4- Generator telah mempertimbangkan preferensi pengguna, kebiasaan browsing, dan tren mode terkini.
Informasi
The application is tested on python version 3.10 and node version v16.17.0 and npm version 8.15.0
Tumpukan Teknologi
Klien: Bereaksi, Scss-Sass, Bereaksi-Toastify
Server: Python - Django/Django REST
Model: Difusi Stabil XLv1.0, LoRA, ChatGPT-3.5(api)
Cloud: Ms Azure - Penyimpanan Blob
Instalasi
Kloning repositori
Langkah-langkah Menjalankan Backend
- tambahkan .env ke direktori root repositori
JWT_SECRET= " "
JWT_ALGORITHM= " "
AZURE_ACCOUNT_URI= " "
AZURE_ACCOUNT_NAME= " "
HUGGING_FACE_TOKEN= " "
OPENAI_API_KEY= " "
- aktifkan lingkungan baru bernama test
py -m venv test
test s cripts a ctivate
pip install -r requirements.txt
- Migrasikan dan jalankan server
python manage.py migrate
python manage.py runserver
(create a superuser by
python manage.py createsuperuser
to access admin panel)
Langkah-langkah menjalankan Frontend
cd z_client
npm install --legacy-peer-deps
npm start
Metodologi
Penghapusan Data
Data diambil dari situs web berikut:
- Flipkart - dari riwayat pembelian dan daftar keinginan pengguna
- Pinterest - gambar dengan pakaian terbaru yang trendi dan cepat
- Instagram - Gambar dengan hashtag, terkait dengan pakaian trendi dan terbaru.
- Myntra - Metadata produk pakaian terbaru beserta gambarnya
Menyimpan semua data ini ke dalam kumpulan data, lalu mengirimkan kumpulan data khusus waktu untuk penyesuaian.
Model Generatif
- Difusi Stabil melibatkan tiga bagian: VAE, U-Net, dan encoder teks opsional. VAE mengompresi gambar, U-Net menolaknya. .
- Menyempurnakan model ini pada Kumpulan Data Khusus.
- Model yang diterapkan pada hub Hugging Face.
- Akses model melalui Inference API.
- Mengambil input sebagai prompt, mengembalikan tautan gambar yang disandikan base64.
Percakapan (fitur Obrolan dan Umpan Balik)
Menggunakan salah satu model teks terbaik gpt-3.5-turbo dengan penyempurnaan untuk mengekstrak informasi dari prompt yang dimasukkan pengguna, dan mengambil riwayat pencarian sebagai konteks, dan menghasilkan prompt baru.
Ini akan mengambil prompt baru dari pengguna, mengambil riwayat dari DB, mengirimkan permintaan melalui kunci API openAI, dan mengembalikan prompt baru yang dihasilkan
Rekomendasi (Hasil yang Dipersonalisasi)
- Ambil perintah lama dari database.
- Temukan prompt yang paling mirip dari prompt yang dimasukkan menggunakan matriks kesamaan.
- Jika riwayat pencarian > 2, cari prompt yang paling mirip dari riwayat, jika tidak, ada beberapa prompt default berdasarkan kata kunci dari prompt pengguna.
Ruang Lingkup Masa Depan
- Menghubungkan dengan Flipkart: Aplikasi ini akan dihubungkan dengan Flipkart sehingga dapat mempertimbangkan riwayat pesanan pengguna/ Wishlist dari Flipkart dan dapat memberikan hasil yang lebih personal.
- Uji Coba Virtual: Dapat diintegrasikan dengan Flipkart untuk memberikan pengalaman uji coba virtual. Pelanggan dapat mendeskripsikan jenis pakaian yang mereka cari, dan generator dapat memberikan gambar model yang dipersonalisasi yang mengenakan pakaian tersebut, sehingga membantu pelanggan membuat keputusan pembelian yang tepat.
- Resolusi dan Detail Lebih Tinggi: Meningkatkan kemampuan generator dalam menghasilkan gambar beresolusi tinggi dan detail.
- Pembelajaran Berkelanjutan: Memungkinkan model untuk terus belajar dari tren mode baru
- Model Hibrid: Menggabungkan pembuatan teks-ke-gambar dengan teknologi AI lainnya, seperti sistem rekomendasi gaya atau model prediksi tren, dapat menciptakan solusi fesyen yang lebih komprehensif dan canggih.
Penulis
- Jai Anand @jaianand
- Nilesh Popli @Adrenex
- Harshit Bajeta @harshitbajeta
Tangkapan layar
