генератор видео ИИ

Генератор видеоисторий с искусственным интеллектом

В этом проекте используется Ollama LLM для создания идей видеотекста на основе подсказок пользователя. Он принимает запрос от пользователя и генерирует историю, которая затем преобразуется в аудио с помощью ИИ. Впоследствии из аудио генерируются субтитры, и, наконец, эти субтитры объединяются в видео.

Как это работает

1. Ввод подсказки : пользователи предоставляют системе подсказку.
2. Текст в текст : ИИ генерирует историю на основе предоставленной подсказки.
3. Преобразование текста в речь : история преобразуется в аудио с использованием технологии преобразования текста в речь искусственного интеллекта.
4. Генерация титров : искусственный интеллект генерирует субтитры из аудио.
5. Создание видео : субтитры объединяются в видео.

Как бежать

Предварительные условия

• Docker установлен в вашей системе
• Не менее ~5,5 ГБ ОЗУ для запуска всех приложений и моделей llm.

Установка

1. Клонируем репозиторий:

   git clone https://github.com/ccallazans/ai-video-generator.git
   cd ai-video-generator

2. Запустите Docker-контейнеры:

   make start

Как только контейнеры будут запущены, вы сможете получить доступ к генератору видеоисторий AI через предоставленный интерфейс или конечные точки API. Первый раз может быть медленным, поскольку необходимо загрузить модель Ollama и требования Python Torch, но последующие запуски будут быстрее, поскольку Docker хранит ее в кеше.

Использование

Отправьте POST-запрос с содержимым, которое вы хотите создать.

curl --location ' http://localhost:8080/api/v1/generate ' 
--header ' Content-Type: application/json ' 
--data ' {
    "message": "Tell me a story about Bahia"
} '

Сгенерированные видео сохраняются в папке «Сгенерировано».

Для локального запуска

1. Установите Ollama: инструкции на: https://ollama.com/download.

2. Создайте среду Python 3 и установите ее зависимости:

   python3 -m venv venv
   source venv/bin/activate
   pip install -r requirements.txt

3. Запустите приложение Golang:

   go run cmd/ * 

Дополнительные примечания

• Чтобы добавить больше фоновых видео, поместите их в папку ресурсы/видео. Видео выбирается случайным образом, поэтому при желании измените код.
• Убедитесь, что Docker правильно настроен и работает в вашей системе.
• Настройте все необходимые конфигурации в файле Dockerfile или docker-compose.yml в соответствии с вашими требованиями.
• При промышленном использовании убедитесь, что реализованы надлежащие меры безопасности и возможности масштабирования.
• Смело меняйте модель олламы. Выберите один из https://ollama.com/library. В этом проекте я использую orca-mini.

Не стесняйтесь исследовать и изменять проект в соответствии с вашими потребностями! Если у вас возникнут какие-либо проблемы или у вас есть предложения по улучшению, не стесняйтесь открыть проблему или отправить запрос на включение.