image to text a stroeyteller model

story.teller.vid.-.Dibuat.dengan.Clipchamp.mp4

Pendongeng

Story Teller adalah aplikasi Streamlit yang menghasilkan cerita berdasarkan gambar masukan. Ini menggunakan perpustakaan Hugging Face Transformers dan model Salesforce BLIP Image Captioning.

Daftar isi

• Instalasi
• Penggunaan
• Token API
• Model
• Menjalankan Aplikasi
• Berkontribusi

Instalasi

Untuk menginstal dependensi yang diperlukan, jalankan perintah berikut:

pip install -r requirements.txt

Pastikan Anda memiliki dependensi yang diperlukan yang ditentukan dalam file requirements.txt .

Penggunaan

Untuk menggunakan aplikasi, ikuti langkah-langkah di bawah ini:

1. Jalankan aplikasi Streamlit dengan menjalankan perintah berikut:

   streamlit run app.py

2. Akses aplikasi melalui URL yang disediakan di konsol.

3. Antarmuka aplikasi akan muncul dengan judul "Story Teller" dan instruksi untuk "Unggah gambar dan dapatkan cerita".

4. Klik tombol "Unggah file Anda di sini..." untuk memilih file gambar (format yang didukung: PNG, JPEG, JPG).

5. Setelah gambar diunggah, itu akan ditampilkan di halaman.

6. Aplikasi akan memproses gambar yang diunggah menggunakan model Salesforce BLIP Image Captioning dan menghasilkan deskripsi tekstual dari gambar tersebut.

7. Teks yang dihasilkan kemudian akan diteruskan ke Hugging Face API untuk menghasilkan cerita berdasarkan teks tersebut.

8. Aplikasi akan menampilkan cerita yang dihasilkan pada halaman.

9. Jika terjadi kesalahan selama proses, pesan kesalahan akan ditampilkan di halaman, dan Anda dapat mencoba lagi.

Token API

Aplikasi ini memerlukan token API dari Hugging Face untuk mengakses model pembuatan cerita. Untuk mendapatkan token API, ikuti langkah-langkah berikut:

1. Daftar atau masuk ke akun Hugging Face Anda di https://huggingface.co/.

2. Setelah masuk, buka pengaturan akun Anda dan navigasikan ke bagian "Token API".

3. Buat token API baru, salin, dan ganti placeholder "your api key" di kelas Models text_model.py dengan token API Anda yang sebenarnya.

Model

Kelas Models di text_model.py merangkum fungsionalitas aplikasi. Ini berisi metode berikut:

• __init__() :

  • Menginisialisasi kelas dan menetapkan token API dan ID model.

• img2text(url) :

  • Mengambil URL gambar sebagai masukan dan menggunakan model Salesforce BLIP Image Captioning untuk mengonversi gambar menjadi teks. Ini mengembalikan teks yang dihasilkan.

• story(payload) :

  • Mengambil payload sebagai masukan, yang berisi teks yang dihasilkan, dan mengirimkan permintaan ke Hugging Face API untuk menghasilkan cerita berdasarkan teks tersebut. Ini mengembalikan cerita yang dihasilkan.

• chain(payload, num=0) :

  • Metode ini bertindak sebagai fungsi rekursif yang menghasilkan rangkaian cerita. Dibutuhkan payload sebagai masukan, yang awalnya berisi teks yang dihasilkan. Ini secara rekursif memanggil metode story() dan memperbarui payload hingga jumlah cerita yang diinginkan (50 dalam kasus ini) dihasilkan. Bilah kemajuan juga diperbarui.

Menjalankan Aplikasi

Jika Anda penasaran dan ingin mencoba model backend saja, jalankan perintah berikut:

python text_model.py

Pastikan Anda telah menginstal dependensi yang diperlukan, seperti yang disebutkan di bagian instalasi.

Berkontribusi

Kontribusi pada aplikasi Story Teller dipersilakan! Jika Anda menemukan masalah atau memiliki saran untuk perbaikan, jangan ragu untuk membuka masalah atau mengirimkan permintaan penarikan.