Image Feature Extraction Using GenAI

이미지-특징-추출-GenAI 사용

이 프로젝트는 이미지에서 특징을 추출하고 평가하기 위한 고급 생성 AI 파이프라인을 구현합니다. 최첨단 비전 언어 모델인 Florence-2의 성능과 최첨단 대형 언어 모델인 Mistral-v3의 미세 조정 버전을 결합합니다.

주요 특징

• Florence-2를 활용하여 상세한 이미지 설명을 생성합니다.
• 특징 추출 및 채점을 위해 미세 조정된 맞춤형 Mistral-v3 모델을 사용합니다.
• 다른 애플리케이션과 쉽게 통합할 수 있도록 결과를 JSON 형식으로 출력합니다.

이미지 설명 생성

• 모델: 피렌체-2
• 입력: 원시 이미지 데이터
• 출력: 이미지에 대한 포괄적인 텍스트 설명

특징 추출 및 평가

• 모델: 미세 조정된 Mistral-v3
• 입력: Florence-2의 텍스트 설명
• 출력: 추출된 특징과 해당 점수가 포함된 JSON 개체

용법

이 프로젝트를 실행하려면 다음 단계를 따르세요.

1. 데이터 세트 다운로드
2. 이미지 스크래핑 스크립트를 실행합니다.

 python scrapeImages.py

데이터 세트를 기반으로 Airbnb에서 이미지를 긁어냅니다.

3. GenAI_Approach.ipynb Jupyter 노트북을 열고 실행합니다. 노트북 내의 지침에 따라 이미지를 처리하고 기능을 추출합니다.

중요 참고 사항: 스크립트에 지정된 것과 동일한 파일 및 디렉터리 이름을 사용하거나 디렉터리 구조와 일치하도록 코드의 경로를 수정하십시오.