image to text a stroeyteller model

story.teller.vid.-.Made.with.Clipchamp.mp4

스토리텔러

Story Teller는 입력 이미지를 기반으로 스토리를 생성하는 Streamlit 애플리케이션입니다. Hugging Face Transformers 라이브러리와 Salesforce BLIP 이미지 캡션 모델을 활용합니다.

목차

• 설치
• 용법
• API 토큰
• 모델
• 애플리케이션 실행
• 기여

설치

필요한 종속성을 설치하려면 다음 명령을 실행하십시오.

pip install -r requirements.txt

requirements.txt 파일에 필수 종속성이 지정되어 있는지 확인하세요.

용법

애플리케이션을 사용하려면 다음 단계를 따르세요.

1. 다음 명령을 실행하여 Streamlit 애플리케이션을 실행합니다.

   streamlit run app.py

2. 콘솔에 제공된 URL을 통해 애플리케이션에 액세스합니다.

3. 애플리케이션 인터페이스에는 "Story Teller"라는 제목과 "이미지 업로드 및 스토리 가져오기" 지침이 표시됩니다.

4. 이미지 파일(지원되는 형식: PNG, JPEG, JPG)을 선택하려면 "여기에 파일 업로드..." 버튼을 클릭하세요.

5. 이미지가 업로드되면 페이지에 표시됩니다.

6. 애플리케이션은 Salesforce BLIP 이미지 캡션 모델을 사용하여 업로드된 이미지를 처리하고 이미지에 대한 텍스트 설명을 생성합니다.

7. 생성된 텍스트는 Hugging Face API에 전달되어 텍스트를 기반으로 한 스토리를 생성합니다.

8. 애플리케이션은 생성된 스토리를 페이지에 표시합니다.

9. 진행 중 오류가 발생하면 페이지에 오류 메시지가 표시되며 다시 시도할 수 있습니다.

API 토큰

스토리 생성 모델에 액세스하려면 애플리케이션에 Hugging Face의 API 토큰이 필요합니다. API 토큰을 얻으려면 다음 단계를 따르세요.

1. https://huggingface.co/에서 Hugging Face 계정에 가입하거나 로그인하세요.

2. 로그인한 후 계정 설정으로 이동하여 "API 토큰" 섹션으로 이동하세요.

3. 새 API 토큰을 생성하고 복사한 후 text_model.py 의 Models 클래스에 있는 "your api key" 자리 표시자를 실제 API 토큰으로 바꿉니다.

모델

text_model.py 의 Models 클래스는 애플리케이션의 기능을 캡슐화합니다. 여기에는 다음 방법이 포함되어 있습니다.

• __init__() :

  • 클래스를 초기화하고 API 토큰과 모델 ID를 설정합니다.

• img2text(url) :

  • 이미지 URL을 입력으로 사용하고 Salesforce BLIP 이미지 캡션 모델을 사용하여 이미지를 텍스트로 변환합니다. 생성된 텍스트를 반환합니다.

• story(payload) :

  • 생성된 텍스트가 포함된 페이로드를 입력으로 사용하고 Hugging Face API에 요청을 보내 텍스트를 기반으로 스토리를 생성합니다. 생성된 스토리를 반환합니다.

• chain(payload, num=0) :

  • 이 방법은 스토리 체인을 생성하는 재귀 함수 역할을 합니다. 초기에 생성된 텍스트가 포함된 페이로드를 입력으로 사용합니다. story() 메서드를 재귀적으로 호출하고 원하는 스토리 수(이 경우 50개)가 생성될 때까지 페이로드를 업데이트합니다. 진행률 표시줄도 이에 따라 업데이트됩니다.

애플리케이션 실행

궁금하고 백엔드 모델을 사용해 보고 싶다면 다음 명령을 실행하세요.

python text_model.py

설치 섹션에 언급된 대로 필수 종속성이 설치되어 있는지 확인하세요.

기여

Story Teller 애플리케이션에 대한 기여를 환영합니다! 문제를 발견하거나 개선을 위한 제안 사항이 있으면 언제든지 문제를 공개하거나 풀 요청을 제출해 주세요.