AI-Videogenerator

KI-Video-Story-Generator

Dieses Projekt nutzt Ollama LLM, um Videotextideen basierend auf Benutzereingaben zu erstellen. Es nimmt eine Eingabeaufforderung des Benutzers entgegen und generiert eine Geschichte, die dann mithilfe von KI in Audio umgewandelt wird. Anschließend werden aus dem Audio Untertitel generiert, die schließlich zu einem Video zusammengefügt werden.

Wie es funktioniert

1. Eingabeaufforderung : Benutzer stellen dem System eine Eingabeaufforderung zur Verfügung.
2. Text zu Text : KI generiert eine Geschichte basierend auf der bereitgestellten Eingabeaufforderung.
3. Text-to-Speech : Die Geschichte wird mithilfe der KI-Text-to-Speech-Technologie in Audio umgewandelt.
4. Untertitelgenerierung : KI generiert Untertitel aus dem Audio.
5. Videoerstellung : Untertitel werden in ein Video eingefügt.

Wie man läuft

Voraussetzungen

• Docker ist auf Ihrem System installiert
• Mindestens ~5,5 GB RAM zum Ausführen aller Anwendungen und LM-Modelle

Installation

1. Klonen Sie das Repository:

   git clone https://github.com/ccallazans/ai-video-generator.git
   cd ai-video-generator

2. Starten Sie die Docker-Container:

   make start

Sobald die Container betriebsbereit sind, können Sie über die bereitgestellte Schnittstelle oder API-Endpunkte auf den AI-Video-Story-Generator zugreifen. Das erste Mal kann langsam sein, da das Ollama-Modell und die Python-Torch-Anforderungen heruntergeladen werden müssen, aber nachfolgende Ausführungen werden schneller sein, weil Docker es im Cache behält.

Verwendung

Senden Sie eine POST-Anfrage mit dem Inhalt, den Sie generieren möchten

curl --location ' http://localhost:8080/api/v1/generate ' 
--header ' Content-Type: application/json ' 
--data ' {
    "message": "Tell me a story about Bahia"
} '

Die generierten Videos werden im Ordner „generated“ gespeichert.

Zur lokalen Ausführung

1. Ollama installieren: Anleitung unter: https://ollama.com/download

2. Erstellen Sie eine Python 3-Umgebung und installieren Sie ihre Abhängigkeiten:

   python3 -m venv venv
   source venv/bin/activate
   pip install -r requirements.txt

3. Führen Sie die Golang-Anwendung aus:

   go run cmd/ * 

Zusätzliche Hinweise

• Um weitere Hintergrundvideos hinzuzufügen, legen Sie diese im Ordner resources/videos ab. Das Video wird zufällig ausgewählt. Ändern Sie daher bei Bedarf den Code.
• Stellen Sie sicher, dass Docker ordnungsgemäß konfiguriert ist und auf Ihrem System ausgeführt wird.
• Passen Sie alle erforderlichen Konfigurationen in der Datei Dockerfile oder docker-compose.yml entsprechend Ihren Anforderungen an.
• Stellen Sie für den Produktionseinsatz sicher, dass geeignete Sicherheitsmaßnahmen und Skalierbarkeitsüberlegungen umgesetzt werden.
• Es steht Ihnen frei, das Ollama-Modell zu ändern. Wählen Sie eine unter https://ollama.com/library aus. Ich verwende Orca-Mini für dieses Projekt

Fühlen Sie sich frei, das Projekt entsprechend Ihren Bedürfnissen zu erkunden und zu modifizieren! Wenn Sie auf Probleme stoßen oder Verbesserungsvorschläge haben, zögern Sie bitte nicht, ein Problem zu eröffnen oder eine Pull-Anfrage einzureichen.