gerador de vídeo ai

Gerador de histórias em vídeo com IA

Este projeto utiliza Ollama LLM para criar ideias de texto em vídeo com base nas instruções do usuário. Ele recebe uma solicitação do usuário e gera uma história, que é então convertida em áudio usando IA. Posteriormente, as legendas são geradas a partir do áudio e, por fim, essas legendas são mescladas em um vídeo.

Como funciona

1. Entrada de prompt : os usuários fornecem um prompt ao sistema.
2. Texto para texto : a IA gera uma história com base no prompt fornecido.
3. Texto para fala : a história é convertida em áudio usando a tecnologia de conversão de texto em fala de IA.
4. Geração de legendas : IA gera legendas a partir do áudio.
5. Criação de vídeo : as legendas são mescladas em um vídeo.

Como correr

Pré-requisitos

• Docker instalado em seu sistema
• Pelo menos ~5,5 GB de RAM para executar todos os aplicativos e modelos llm

Instalação

1. Clone o repositório:

   git clone https://github.com/ccallazans/ai-video-generator.git
   cd ai-video-generator

2. Inicie os contêineres do Docker:

   make start

Assim que os contêineres estiverem instalados e funcionando, você poderá acessar o gerador de histórias em vídeo de IA por meio de sua interface fornecida ou pontos de extremidade de API. A primeira vez pode ser lenta porque é necessário baixar o modelo Ollama e os requisitos do Python Torch, mas as execuções subsequentes serão mais rápidas porque o Docker o mantém em cache.

Uso

Envie uma solicitação POST com o conteúdo que deseja gerar

curl --location ' http://localhost:8080/api/v1/generate ' 
--header ' Content-Type: application/json ' 
--data ' {
    "message": "Tell me a story about Bahia"
} '

Os vídeos gerados são salvos na pasta “gerados”.

Para executar localmente

1. Instale o Ollama: Instruções em: https://ollama.com/download

2. Crie um ambiente Python 3 e instale suas dependências:

   python3 -m venv venv
   source venv/bin/activate
   pip install -r requirements.txt

3. Execute o aplicativo Golang:

   go run cmd/ * 

Notas Adicionais

• Para adicionar mais vídeos de fundo, coloque-os dentro da pasta resources/videos. O vídeo é selecionado aleatoriamente, então altere o código se desejar.
• Certifique-se de que o Docker esteja configurado e funcionando corretamente em seu sistema.
• Ajuste quaisquer configurações necessárias no arquivo Dockerfile ou docker-compose.yml de acordo com seus requisitos.
• Para uso em produção, garanta que medidas de segurança adequadas e considerações de escalabilidade sejam implementadas.
• Fique à vontade para mudar o modelo ollama. Escolha um em https://ollama.com/library. Estou usando o orca-mini neste projeto

Fique à vontade para explorar e modificar o projeto de acordo com suas necessidades! Se você encontrar algum problema ou tiver sugestões de melhorias, não hesite em abrir um problema ou enviar uma solicitação pull.