Image Feature Extraction Using GenAI

GenAIを使用した画像特徴抽出

このプロジェクトは、画像から特徴を抽出して評価するための高度な生成 AI パイプラインを実装します。これは、最先端のビジョン言語モデルである Florence-2 のパワーと、最先端の大規模言語モデルである Mistral-v3 の微調整バージョンを組み合わせています。

主な特長

• Florence-2 を利用して詳細な画像の説明を生成します
• 特徴抽出とスコアリングのためにカスタムの微調整された Mistral-v3 モデルを採用
• 結果を JSON 形式で出力し、他のアプリケーションと簡単に統合できます。

画像説明の生成

• モデル: フローレンス-2
• 入力：生画像データ
• 出力: 画像の包括的なテキスト説明

特徴の抽出と評価

• モデル: 微調整された Mistral-v3
• 入力: Florence-2 からのテキスト説明
• 出力: 抽出された特徴とそのスコアを含む JSON オブジェクト

使用法

このプロジェクトを実行するには、次の手順に従います。

1. データセットをダウンロードする
2. 画像スクレイピング スクリプトを実行します。

 python scrapeImages.py

これにより、データセットに基づいて Airbnb から画像が取得されます。

3. GenAI_Approach.ipynb Jupyter ノートブックを開いて実行します。ノートブック内の指示に従って、画像を処理し、特徴を抽出します。

重要な注意事項:スクリプトで指定されているのと同じファイル名とディレクトリ名を使用していることを確認するか、ディレクトリ構造に一致するようにコード内のパスを変更してください。