Gerador de moda conversacional desenvolvido com genAI
Objetivos
- Gerador de roupas de moda alimentado por IA da geração: Desenvolva um sistema de IA de conversação funcional e intuitivo.
- Integração de dados do usuário: Integre mecanismos para coletar e analisar dados do usuário, incluindo histórico de compras anteriores e preferências de navegação.
- Recomendações de roupas personalizadas: O gerador deve ser capaz de compreender as preferências de moda exclusivas do usuário.
- Análise de tendências de mídia social: implemente recursos que permitem à IA analisar e incorporar tendências da moda em tempo real.
- Ciclo de feedback interativo: permite que os usuários forneçam feedback e interajam com a IA para refinar as recomendações de roupas.
- Sugestões versáteis de roupas: A IA deve ser capaz de gerar recomendações de roupas para diversas ocasiões, estilos, idades, regiões específicas e perfis de usuário.
Caso de uso
P0-Um gerador de roupas de moda alimentado por Gen AI para Flipkart que revoluciona a maneira como os usuários descobrem e criam roupas de moda personalizadas, de uma forma natural e conversacional.
P1-O gerador deve considerar fatores como tipo físico do usuário, ocasião (ex.: casual, formal, festa) e preferências regionais e etárias.
Os usuários P2 também devem ser capazes de interagir com o gerador de roupas para dar feedback sobre o que gostam, o que não gostam e poder ajustar as roupas no estilo de uma conversa.
P3- O gerador pode levar em consideração os tipos de peças de roupa que o usuário visualiza com frequência ou adiciona ao carrinho, garantindo que as recomendações de looks sejam relevantes e atraentes.
O P4- Generator considerou as preferências do usuário, os hábitos de navegação e as últimas tendências da moda.
Informações
The application is tested on python version 3.10 and node version v16.17.0 and npm version 8.15.0
Pilha de tecnologia
Cliente: React, Scss-Sass, React-Toastify
Servidor: Python - Django/Django REST
Modelos: Difusão Estável XLv1.0, LoRA, ChatGPT-3.5(api)
Nuvem: Ms Azure - Armazenamento de Blobs
Instalação
Clonar o repositório
Etapas para executar o back-end
- adicione um .env ao diretório raiz do repositório
JWT_SECRET= " "
JWT_ALGORITHM= " "
AZURE_ACCOUNT_URI= " "
AZURE_ACCOUNT_NAME= " "
HUGGING_FACE_TOKEN= " "
OPENAI_API_KEY= " "
- ativar um novo ambiente chamado teste
py -m venv test
test s cripts a ctivate
pip install -r requirements.txt
- Migrar e executar servidor
python manage.py migrate
python manage.py runserver
(create a superuser by
python manage.py createsuperuser
to access admin panel)
Etapas para executar o Frontend
cd z_client
npm install --legacy-peer-deps
npm start
Metodologia
Eliminação de dados
Dados extraídos dos seguintes sites:
- Flipkart - do histórico de compras e lista de desejos do usuário
- Pinterest - imagens com avisos das últimas roupas da moda
- Instagram - Imagens com hashtags relacionadas aos looks mais modernos e da moda.
- Myntra - Metadados de produtos de vestuário mais recentes junto com imagens
Armazenou todos esses dados em um conjunto de dados e, em seguida, enviou um conjunto de dados de horário personalizado para ajuste fino.
Modelo Gerativo
- A difusão estável envolve três partes: VAE, U-Net e codificador de texto opcional. VAE compacta imagens, U-Net as elimina. .
- Ajustou este modelo no conjunto de dados personalizado.
- Modelo implantado no hub Hugging Face.
- Modelo de acesso através da API Inference.
- Recebe a entrada como prompt e retorna o link da imagem codificada em base64.
Conversa (recurso de bate-papo e feedback)
Usei um dos melhores modelos de texto gpt-3.5-turbo com ajuste fino para extrair informações do prompt inserido pelo usuário e tomar o histórico de pesquisa como contexto e gerar um novo prompt.
Ele receberá um novo prompt do usuário, buscará o histórico do banco de dados, enviará solicitações por meio da chave da API openAI e retornará o novo prompt gerado
Recomendação (resultados personalizados)
- Busque prompts antigos do banco de dados.
- Encontre o prompt mais semelhante do prompt inserido usando a matriz de similaridade.
- Se o histórico de pesquisa for> 2, encontre o prompt mais semelhante no histórico, caso contrário, existem alguns prompts padrão baseados em palavras-chave do prompt do usuário.
Escopo Futuro
- Vinculando com Flipkart: Este aplicativo será vinculado ao Flipkart para que possa considerar o histórico de pedidos / lista de desejos do usuário do Flipkart e fornecer resultados mais personalizados.
- Teste virtual: pode ser integrado ao Flipkart para fornecer experiências de teste virtual. Os clientes poderiam descrever o tipo de roupa que procuram, e o gerador poderia fornecer imagens personalizadas de modelos vestindo essas roupas, ajudando os clientes a tomar decisões de compra informadas.
- Maior resolução e detalhes: Melhorando a capacidade do gerador de produzir imagens detalhadas e de alta resolução.
- Aprendizagem contínua: Permitir que a modelo aprenda continuamente com as novas tendências da moda
- Modelos Híbridos: Combinar a geração de texto para imagem com outras tecnologias de IA, como sistemas de recomendação de estilo ou modelos de previsão de tendências, pode criar soluções de moda mais abrangentes e poderosas.
Autores
- Jai Anand @jaianand
- Nilesh Popli @Adrenex
- Harshit Bajeta @harshitbajeta
Capturas de tela
