GenAI Image to Voice Description

GenAI 이미지를 음성으로 설명

Generative AI 모델을 사용하여 음성 내레이션을 통해 이미지를 설명적인 스토리로 변환합니다.

개요

이 프로젝트는 Generative AI 모델을 활용하여 이미지를 음성 내레이션이 포함된 설명 스토리로 변환합니다. 최첨단 자연어 처리 및 컴퓨터 비전 기술을 사용하여 업로드된 이미지를 기반으로 매력적인 내러티브를 생성합니다. 생성된 스토리는 오디오 형식으로 요약 및 해설되어 사용자에게 몰입형 스토리텔링 경험을 제공합니다.

특징

• 이미지-텍스트 변환 : 블립 모델을 활용하여 업로드된 이미지에서 텍스트를 추출합니다.
• 스토리 생성 : GPT(Generative Pre-trained Transformer) 모델을 사용하여 추출된 텍스트로부터 단편 소설을 생성합니다.
• 텍스트 음성 변환 : HuggingFace의 ESPnet 텍스트 음성 변환 모델을 사용하여 생성된 스토리를 오디오 형식으로 변환합니다.
• 요약 : 생성된 스토리를 간결하고 명확하게 요약합니다.
• Streamlit Web App : 이미지를 업로드하고 생성된 스토리를 듣기 위한 사용자 친화적인 인터페이스를 제공합니다.

용법

1. 이미지를 업로드하세요.
2. 모델이 이미지를 처리하고 스토리를 생성할 때까지 기다립니다.
3. 생성된 스토리를 오디오 형식으로 들어보세요.
4. 선택적으로 스토리의 요약 버전을 봅니다.

요구사항

• 파이썬 3.6+
• 스트림라이트
• 트랜스포머
• 랭체인
• 허깅페이스 API
• ESPnet

설치

1. 저장소를 복제합니다.

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. 종속성을 설치합니다.

   pip install -r requirements.txt

달리는 방법

다음 명령을 실행하십시오.

streamlit run app.py