image to text a stroeyteller model

story.teller.vid.-.Made.with.Clipchamp.mp4

นักเล่าเรื่อง

Story Teller เป็นแอปพลิเคชัน Streamlit ที่สร้างเรื่องราวตามภาพที่ป้อนเข้า โดยจะใช้ไลบรารี Hugging Face Transformers และโมเดลคำบรรยายภาพ BLIP ของ Salesforce

สารบัญ

• การติดตั้ง
• การใช้งาน
• โทเค็น API
• โมเดล
• เรียกใช้แอปพลิเคชัน
• มีส่วนร่วม

การติดตั้ง

หากต้องการติดตั้งการขึ้นต่อกันที่จำเป็น ให้รันคำสั่งต่อไปนี้:

pip install -r requirements.txt

ตรวจสอบให้แน่ใจว่าคุณมีการขึ้นต่อกันที่จำเป็นซึ่งระบุไว้ในไฟล์ requirements.txt

การใช้งาน

หากต้องการใช้แอปพลิเคชัน ให้ทำตามขั้นตอนด้านล่าง:

1. เรียกใช้แอปพลิเคชัน Streamlit โดยดำเนินการคำสั่งต่อไปนี้:

   streamlit run app.py

2. เข้าถึงแอปพลิเคชันผ่าน URL ที่ให้ไว้ในคอนโซล

3. อินเทอร์เฟซของแอปพลิเคชันจะปรากฏขึ้นพร้อมกับชื่อ "Story Teller" และคำแนะนำในการ "อัปโหลดรูปภาพและรับเรื่องราว"

4. คลิกที่ปุ่ม "อัปโหลดไฟล์ของคุณที่นี่..." เพื่อเลือกไฟล์รูปภาพ (รูปแบบที่รองรับ: PNG, JPEG, JPG)

5. เมื่ออัพโหลดภาพแล้ว ก็จะปรากฏบนเพจ

6. แอปพลิเคชันจะประมวลผลรูปภาพที่อัปโหลดโดยใช้โมเดลคำบรรยายภาพ Salesforce BLIP และสร้างคำอธิบายที่เป็นข้อความของรูปภาพ

7. ข้อความที่สร้างขึ้นจะถูกส่งไปยัง Hugging Face API เพื่อสร้างเรื่องราวตามข้อความ

8. แอปพลิเคชันจะแสดงเรื่องราวที่สร้างขึ้นบนหน้า

9. หากเกิดข้อผิดพลาดใดๆ ในระหว่างกระบวนการ ข้อความแสดงข้อผิดพลาดจะแสดงบนเพจ และคุณสามารถลองอีกครั้งได้

โทเค็น API

แอปพลิเคชันต้องการโทเค็น API จาก Hugging Face เพื่อเข้าถึงโมเดลการสร้างเรื่องราว หากต้องการรับโทเค็น API ให้ทำตามขั้นตอนเหล่านี้:

1. ลงทะเบียนหรือเข้าสู่ระบบบัญชี Hugging Face ของคุณที่ https://huggingface.co/

2. เมื่อเข้าสู่ระบบแล้ว ให้ไปที่การตั้งค่าบัญชีของคุณแล้วไปที่ส่วน "โทเค็น API"

3. สร้างโทเค็น API ใหม่ คัดลอก และแทนที่ตัวยึด "your api key" ในคลาส Models ของ text_model.py ด้วยโทเค็น API จริงของคุณ

โมเดล

คลาส Models ใน text_model.py สรุปฟังก์ชันการทำงานของแอปพลิเคชัน ประกอบด้วยวิธีการดังต่อไปนี้:

• __init__() :

  • เริ่มต้นคลาสและตั้งค่าโทเค็น API และรหัสโมเดล

• img2text(url) :

  • รับ URL รูปภาพเป็นอินพุต และใช้โมเดลคำบรรยายภาพ BLIP ของ Salesforce เพื่อแปลงรูปภาพเป็นข้อความ มันจะส่งคืนข้อความที่สร้างขึ้น

• story(payload) :

  • รับเพย์โหลดเป็นอินพุตซึ่งประกอบด้วยข้อความที่สร้างขึ้น และส่งคำขอไปยัง Hugging Face API เพื่อสร้างเรื่องราวตามข้อความ มันส่งคืนเรื่องราวที่สร้างขึ้น

• chain(payload, num=0) :

  • เมธอดนี้ทำหน้าที่เป็นฟังก์ชันแบบเรียกซ้ำที่สร้างสายโซ่ของเรื่องราว ใช้เพย์โหลดเป็นอินพุต ซึ่งเริ่มแรกจะมีข้อความที่สร้างขึ้น โดยจะเรียกเมธอด story() ซ้ำๆ และอัปเดตเพย์โหลดจนกว่าจะสร้างจำนวนเรื่องราวที่ต้องการ (50 ในกรณีนี้) แถบความคืบหน้าก็ได้รับการอัปเดตตามไปด้วย

เรียกใช้แอปพลิเคชัน

หากคุณสงสัยและต้องการลองใช้โมเดลแบ็กเอนด์ให้รันคำสั่งต่อไปนี้:

python text_model.py

ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้งการขึ้นต่อกันที่จำเป็น ตามที่กล่าวไว้ในส่วนการติดตั้ง

มีส่วนร่วม

ยินดีมีส่วนร่วมในการสมัคร Story Teller! หากคุณพบปัญหาใด ๆ หรือมีข้อเสนอแนะสำหรับการปรับปรุง โปรดอย่าลังเลที่จะเปิดปัญหาหรือส่งคำขอดึง