GenAI Image to Voice Description

Deskripsi Gambar ke Suara GenAI

Ubah gambar menjadi cerita deskriptif dengan narasi suara menggunakan model AI Generatif.

Ringkasan

Proyek ini menggunakan model AI Generatif untuk mengubah gambar menjadi cerita deskriptif dengan narasi suara. Ini menggunakan pemrosesan bahasa alami dan teknik visi komputer yang canggih untuk menghasilkan narasi yang menarik berdasarkan gambar yang diunggah. Cerita yang dihasilkan kemudian dirangkum dan dinarasikan dalam format audio, memberikan pengalaman bercerita yang mendalam kepada pengguna.

Fitur

• Konversi Gambar-ke-Teks : Memanfaatkan model blip untuk mengekstrak teks dari gambar yang diunggah.
• Story Generation : Menghasilkan cerita pendek dari teks yang diekstraksi menggunakan model GPT (Generative Pre-trained Transformer).
• Konversi Text-to-Speech : Mengubah cerita yang dihasilkan menjadi format audio menggunakan model text-to-speech ESPnet dari HuggingFace.
• Peringkasan : Meringkas cerita yang dihasilkan agar singkat dan jelas.
• Aplikasi Web Streamlit : Menyediakan antarmuka yang ramah pengguna untuk mengunggah gambar dan mendengarkan cerita yang dihasilkan.

Penggunaan

1. Unggah gambar.
2. Tunggu hingga model memproses gambar dan menghasilkan cerita.
3. Dengarkan cerita yang dihasilkan dalam format audio.
4. Opsional, lihat versi ringkasan cerita.

Persyaratan

• Python 3.6+
• Menyalakan
• transformator
• LangChain
• API Memeluk Wajah
• ESPnet

Instalasi

1. Kloning repositori:

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. Instal dependensi:

   pip install -r requirements.txt

Cara Berlari

Jalankan perintah berikut:

streamlit run app.py