เครื่องกำเนิดวิดีโอ ai

เครื่องกำเนิดเรื่องราววิดีโอ AI

โปรเจ็กต์นี้ใช้ Ollama LLM เพื่อสร้างแนวคิดข้อความวิดีโอตามคำแนะนำของผู้ใช้ รับการแจ้งเตือนจากผู้ใช้และสร้างเรื่องราว จากนั้นจะถูกแปลงเป็นเสียงโดยใช้ AI จากนั้น คำบรรยายจะถูกสร้างขึ้นจากเสียง และสุดท้าย คำบรรยายเหล่านี้จะรวมเข้ากับวิดีโอ

มันทำงานอย่างไร

1. Prompt Input : ผู้ใช้จะแจ้งให้ระบบทราบ
2. ข้อความเป็นข้อความ : AI สร้างเรื่องราวตามข้อความแจ้งที่ให้ไว้
3. ข้อความเป็นคำพูด : เรื่องราวถูกแปลงเป็นเสียงโดยใช้เทคโนโลยีการแปลงข้อความเป็นคำพูด AI
4. การสร้างคำบรรยาย : AI สร้างคำบรรยายจากเสียง
5. การสร้างวิดีโอ : คำบรรยายถูกรวมเข้ากับวิดีโอ

วิธีการวิ่ง

ข้อกำหนดเบื้องต้น

• ติดตั้ง Docker บนระบบของคุณ
• RAM อย่างน้อย ~5.5GB เพื่อรันแอปพลิเคชันและโมเดล llm ทั้งหมด

การติดตั้ง

1. โคลนที่เก็บ:

   git clone https://github.com/ccallazans/ai-video-generator.git
   cd ai-video-generator

2. เริ่มคอนเทนเนอร์ Docker:

   make start

เมื่อคอนเทนเนอร์เริ่มทำงานแล้ว คุณจะสามารถเข้าถึงตัวสร้างเรื่องราววิดีโอ AI ผ่านทางอินเทอร์เฟซหรือตำแหน่งข้อมูล API ที่ให้มา ครั้งแรกอาจจะช้าเพราะต้องดาวน์โหลดโมเดล Ollama และข้อกำหนด Python Torch แต่การรันครั้งต่อๆ ไปจะเร็วกว่าเพราะ Docker เก็บไว้ในแคช

การใช้งาน

ส่งคำขอ POST พร้อมเนื้อหาที่คุณต้องการสร้าง

curl --location ' http://localhost:8080/api/v1/generate ' 
--header ' Content-Type: application/json ' 
--data ' {
    "message": "Tell me a story about Bahia"
} '

วิดีโอที่สร้างขึ้นจะถูกบันทึกไว้ในโฟลเดอร์ "สร้าง"

เพื่อเรียกใช้ในพื้นที่

1. ติดตั้ง Ollama: คำแนะนำบน: https://ollama.com/download

2. สร้างสภาพแวดล้อม Python 3 และติดตั้งการขึ้นต่อกัน:

   python3 -m venv venv
   source venv/bin/activate
   pip install -r requirements.txt

3. เรียกใช้แอปพลิเคชัน Golang:

   go run cmd/ * 

หมายเหตุเพิ่มเติม

• หากต้องการเพิ่มวิดีโอพื้นหลัง ให้วางไว้ในโฟลเดอร์ทรัพยากร/วิดีโอ วิดีโอถูกสุ่มเลือก ดังนั้นให้เปลี่ยนโค้ดหากต้องการ
• ตรวจสอบให้แน่ใจว่า Docker ได้รับการกำหนดค่าและทำงานอย่างถูกต้องบนระบบของคุณ
• ปรับการกำหนดค่าที่จำเป็นในไฟล์ Dockerfile หรือ docker-compose.yml ตามความต้องการของคุณ
• สำหรับการใช้งานจริง ตรวจสอบให้แน่ใจว่ามีการนำมาตรการรักษาความปลอดภัยที่เหมาะสมและการพิจารณาความสามารถในการปรับขนาดมาใช้
• มีอิสระที่จะเปลี่ยนโมเดลโอลามะ เลือกหนึ่งรายการจาก https://ollama.com/library ฉันใช้ orca-mini กับโปรเจ็กต์นี้

รู้สึกอิสระที่จะสำรวจและแก้ไขโครงการตามความต้องการของคุณ! หากคุณพบปัญหาใด ๆ หรือมีข้อเสนอแนะในการปรับปรุง โปรดอย่าลังเลที่จะเปิดปัญหาหรือส่งคำขอดึง