AI 비디오 생성기

AI 비디오 스토리 생성기

이 프로젝트는 Ollama LLM을 활용하여 사용자 프롬프트를 기반으로 비디오 텍스트 아이디어를 만듭니다. 사용자의 메시지를 받아 스토리를 생성한 후 AI를 사용해 오디오로 변환합니다. 이어서 오디오에서 캡션이 생성되고 마지막으로 이러한 캡션이 비디오로 병합됩니다.

작동 방식

1. 프롬프트 입력 : 사용자가 시스템에 프롬프트를 제공합니다.
2. Text to Text : AI가 제공된 프롬프트를 기반으로 스토리를 생성합니다.
3. 텍스트 음성 변환(Text to Speech) : AI 텍스트 음성 변환 기술을 사용하여 스토리를 오디오로 변환합니다.
4. 캡션 생성 : AI가 오디오에서 캡션을 생성합니다.
5. 비디오 생성 : 캡션이 비디오에 병합됩니다.

달리는 방법

전제조건

• 시스템에 설치된 Docker
• 모든 애플리케이션과 llm 모델을 실행하려면 최소 5.5GB의 RAM이 필요합니다.

설치

1. 저장소를 복제합니다.

   git clone https://github.com/ccallazans/ai-video-generator.git
   cd ai-video-generator

2. Docker 컨테이너를 시작합니다.

   make start

컨테이너가 실행되면 제공된 인터페이스나 API 엔드포인트를 통해 AI 비디오 스토리 생성기에 액세스할 수 있습니다. 처음에는 Ollama 모델과 Python Torch 요구 사항을 다운로드해야 하기 때문에 속도가 느릴 수 있지만 Docker가 이를 캐시에 보관하기 때문에 후속 실행은 더 빨라집니다.

용법

생성하려는 콘텐츠와 함께 POST 요청을 보냅니다.

curl --location ' http://localhost:8080/api/v1/generate ' 
--header ' Content-Type: application/json ' 
--data ' {
    "message": "Tell me a story about Bahia"
} '

생성된 영상은 "generated" 폴더에 저장됩니다.

로컬로 실행하려면

1. Ollama 설치: 지침: https://ollama.com/download

2. Python 3 환경을 만들고 해당 종속 항목을 설치합니다.

   python3 -m venv venv
   source venv/bin/activate
   pip install -r requirements.txt

3. Golang 애플리케이션을 실행합니다.

   go run cmd/ * 

추가 참고 사항

• 더 많은 배경 비디오를 추가하려면 resources/videos 폴더에 넣으세요. 비디오는 무작위로 선택되므로 원하는 경우 코드를 변경하십시오.
• Docker가 시스템에서 올바르게 구성되어 실행되고 있는지 확인하세요.
• 요구 사항에 따라 Dockerfile 또는 docker-compose.yml 파일에서 필요한 구성을 조정합니다.
• 프로덕션 용도의 경우 적절한 보안 조치와 확장성 고려 사항이 구현되었는지 확인하세요.
• 자유롭게 올라마 모델을 변경해 보세요. https://ollama.com/library에서 하나를 선택하세요. 이 프로젝트에서는 orca-mini를 사용하고 있습니다.

필요에 따라 프로젝트를 자유롭게 탐색하고 수정하세요! 문제가 발생하거나 개선을 위한 제안이 있는 경우 주저하지 말고 문제를 공개하거나 끌어오기 요청을 제출하세요.