FlipkartGrid5.0

genAI を活用した会話型ファッション ジェネレーター

目的

• Gen AI を活用したファッション衣装ジェネレーター: 機能的で直感的な会話型 AI システムを開発します。
• ユーザーデータの統合: 過去の購入履歴、閲覧設定などのユーザーデータを収集および分析するメカニズムを統合します。
• パーソナライズされた服装の推奨: ジェネレーターは、ユーザーの独自のファッションの好みを理解できる必要があります。
• ソーシャル メディア トレンド分析: AI がリアルタイムのファッション トレンドを分析して組み込むことができる機能を実装します。
• インタラクティブなフィードバック ループ: ユーザーがフィードバックを提供し、AI と対話して、服装の推奨事項を調整できるようにします。
• 多用途な服装の提案: AI は、さまざまな機会、スタイル、年齢別、地域別、ユーザー プロファイルに応じた服装の推奨を生成できる必要があります。

使用事例

• P0-An Gen AI を活用した Flipkart 用のファッション衣装ジェネレーターは、ユーザーが自然な会話形式でパーソナライズされたファッション衣装を見つけて作成する方法に革命をもたらします。

• P1 - ジェネレーターは、ユーザーの体型、機会 (カジュアル、フォーマル、パーティーなど)、地域や年齢の好みなどの要素を考慮する必要があります。

• P2 ユーザーは、服装ジェネレーターと対話して、好きなもの、嫌いなものについてフィードバックを提供したり、会話のように服装を微調整したりできる必要もあります。

• P3- ジェネレーターは、ユーザーが頻繁に閲覧したりカートに追加したりする衣料品の種類を考慮して、服装の推奨が関連性があり魅力的であることを保証します。

• P4-Generator は、ユーザーの好み、閲覧習慣、最新のファッション トレンドを考慮しました。

情報

The application is tested on python version 3.10 and node version v16.17.0 and npm version 8.15.0

技術スタック

クライアント: React、Scss-Sass、React-Toastify

サーバー: Python - Django/Django REST

モデル:安定拡散 XLv1.0、LoRA、ChatGPT-3.5(API)

クラウド: Ms Azure - BLOB ストレージ

インストール

リポジトリのクローンを作成する

バックエンドを実行する手順

• リポジトリのルート ディレクトリに .env を追加します。

 JWT_SECRET= " "
 JWT_ALGORITHM= " "
 AZURE_ACCOUNT_URI= " "
 AZURE_ACCOUNT_NAME= " "
 HUGGING_FACE_TOKEN= " "
 OPENAI_API_KEY= " "

• testという名前の新しい環境をアクティブ化します

 py -m venv test
 test s cripts a ctivate
 pip install -r requirements.txt

• サーバーの移行と実行

python manage.py migrate
python manage.py runserver
(create a superuser by 
python manage.py createsuperuser
to access admin panel)

フロントエンドを実行する手順

 cd z_client
 npm install --legacy-peer-deps
 npm start

方法論

データスラップ

以下の Web サイトからデータをスクレイピングしました。

• Flipkart - ユーザーの購入履歴とウィッシュリストから
• Pinterest - トレンディな最新の衣装のプロンプト付き画像
• Instagram - トレンドの最新の服装に関連したハッシュタグ付きの画像。
• Myntra - 最新の衣料品のメタデータと画像

このすべてのデータをデータセットに保存し、微調整のために時間カスタム データセットを送信しました。

生成モデル

• Stable Diffusion には、VAE、U-Net、およびオプションのテキスト エンコーダの 3 つの部分が含まれます。 VAE は画像を圧縮し、U-Net は画像のノイズを除去します。 。
• カスタム データセットでこのモデルを微調整しました。
• ハギングフェイスハブに展開したモデル。
• 推論 API を介してモデルにアクセスします。
• 入力をプロンプトとして受け取り、base64 でエンコードされた画像リンクを返します。

会話（チャットとフィードバック機能）

• 最高のテキスト モデルの 1 つである gpt-3.5-turbo を微調整して使用し、ユーザーが入力したプロンプトから情報を抽出し、検索履歴をコンテキストとして取得し、新しいプロンプトを生成しました。

• ユーザーから新しいプロンプトを取得し、DB から履歴を取得し、openAI API キーを介してリクエストを送信し、新しく生成されたプロンプトを返します。

推奨事項 (パーソナライズされた結果)

• データベースから古いプロンプトを取得します。
• 類似性マトリックスを使用して、入力されたプロンプトから最も類似したプロンプトを見つけます。
• 検索履歴が 2 を超える場合は、履歴から最も類似したプロンプトを検索します。それ以外の場合は、ユーザー プロンプトのキーワードに基づいたデフォルトのプロンプトがいくつかあります。

将来の範囲

• Flipkart とのリンク: このアプリケーションは Flipkart とリンクされ、Flipkart からのユーザーの注文履歴/ウィッシュリストを考慮し、よりパーソナライズされた結果を提供できます。
• 仮想試着: Flipkart と統合して、仮想試着体験を提供できます。顧客が探している服の種類を説明すると、ジェネレーターはそれらの服を着ているモデルのパーソナライズされた画像を提供し、顧客が情報に基づいて購入を決定できるようにすることができます。
• より高い解像度と詳細: 高解像度で詳細な画像を生成するジェネレーターの機能が向上しました。
• 継続的学習: モデルが新しいファッション トレンドから継続的に学習できるようにします。
• ハイブリッド モデル: テキストから画像への生成を、スタイル推奨システムやトレンド予測モデルなどの他の AI テクノロジーと組み合わせることで、より包括的で強力なファッション ソリューションを作成できます。

著者

• ジャイ・アナンド @jaianand
• ナイルシュ・ポプリ @Adrenex
• ハルシット・バジェタ @harshitbajeta

スクリーンショット