générateur vidéo IA

Générateur d'histoires vidéo IA

Ce projet utilise Ollama LLM pour créer des idées de texte vidéo basées sur les invites des utilisateurs. Il répond à une demande de l'utilisateur et génère une histoire, qui est ensuite convertie en audio à l'aide de l'IA. Par la suite, des sous-titres sont générés à partir de l’audio, et enfin, ces sous-titres sont fusionnés dans une vidéo.

Comment ça marche

1. Saisie d'invite : les utilisateurs fournissent une invite au système.
2. Text to Text : IA génère une histoire basée sur l'invite fournie.
3. Text to Speech : L'histoire est convertie en audio à l'aide de la technologie de synthèse vocale AI.
4. Génération de sous-titres : l'IA génère des sous-titres à partir de l'audio.
5. Création vidéo : les légendes sont fusionnées dans une vidéo.

Comment courir

Conditions préalables

• Docker installé sur votre système
• Au moins ~ 5,5 Go de RAM pour exécuter toutes les applications et tous les modèles LLM

Installation

1. Clonez le dépôt :

   git clone https://github.com/ccallazans/ai-video-generator.git
   cd ai-video-generator

2. Démarrez les conteneurs Docker :

   make start

Une fois les conteneurs opérationnels, vous pouvez accéder au générateur d'histoires vidéo IA via son interface fournie ou ses points de terminaison API. La première fois peut être lente car il faut télécharger le modèle Ollama et les exigences de Python Torch, mais les exécutions suivantes seront plus rapides car Docker le conserve dans le cache.

Usage

Envoyez une requête POST avec le contenu que vous souhaitez générer

curl --location ' http://localhost:8080/api/v1/generate ' 
--header ' Content-Type: application/json ' 
--data ' {
    "message": "Tell me a story about Bahia"
} '

Les vidéos générées sont enregistrées dans le dossier "généré".

Pour exécuter localement

1. Installez Ollama : Instructions sur : https://ollama.com/download

2. Créez un environnement Python 3 et installez ses dépendances :

   python3 -m venv venv
   source venv/bin/activate
   pip install -r requirements.txt

3. Exécutez l'application Golang :

   go run cmd/ * 

Notes complémentaires

• Pour ajouter plus de vidéos d'arrière-plan, placez-les dans le dossier ressources/vidéos. La vidéo est sélectionnée au hasard, alors changez le code si vous le souhaitez.
• Assurez-vous que Docker est correctement configuré et exécuté sur votre système.
• Ajustez toutes les configurations nécessaires dans le fichier Dockerfile ou docker-compose.yml en fonction de vos besoins.
• Pour une utilisation en production, assurez-vous que des mesures de sécurité appropriées et des considérations d’évolutivité sont mises en œuvre.
• N'hésitez pas à changer de modèle ollama. Choisissez-en un sur https://ollama.com/library. J'utilise orca-mini sur ce projet

N'hésitez pas à explorer et modifier le projet selon vos besoins ! Si vous rencontrez des problèmes ou avez des suggestions d'amélioration, n'hésitez pas à ouvrir un problème ou à soumettre une pull request.