AIビデオジェネレーター

AIビデオストーリージェネレーター

このプロジェクトでは、Ollama LLM を利用して、ユーザーのプロンプトに基づいてビデオ テキストのアイデアを作成します。ユーザーからの指示を受けてストーリーを生成し、AI を使用して音声に変換します。その後、音声からキャプションが生成され、最終的にこれらのキャプションがビデオにマージされます。

仕組み

1. プロンプト入力: ユーザーはシステムにプロンプ​​トを入力します。
2. Text to Text : AI が提供されたプロンプトに基づいてストーリーを生成します。
3. テキスト読み上げ: ストーリーは AI テキスト読み上げ技術を使用して音声に変換されます。
4. キャプション生成: AI が音声からキャプションを生成します。
5. ビデオの作成: キャプションがビデオに結合されます。

走り方

前提条件

• システムにインストールされている Docker
• すべてのアプリケーションと llm モデルを実行するには、少なくとも ~5.5GB の RAM

インストール

1. リポジトリのクローンを作成します。

   git clone https://github.com/ccallazans/ai-video-generator.git
   cd ai-video-generator

2. Docker コンテナを起動します。

   make start

コンテナーが起動して実行されると、提供されているインターフェイスまたは API エンドポイントを介して AI ビデオ ストーリー ジェネレーターにアクセスできるようになります。初回は Ollama モデルと Python トーチの要件をダウンロードする必要があるため時間がかかるかもしれませんが、それ以降の実行は Docker がキャッシュに保持するため高速になります。

使用法

生成したいコンテンツを含む POST リクエストを送信します

curl --location ' http://localhost:8080/api/v1/generate ' 
--header ' Content-Type: application/json ' 
--data ' {
    "message": "Tell me a story about Bahia"
} '

生成された動画は「generated」フォルダーに保存されます。

ローカルで実行するには

1. Ollama のインストール: 手順: https://ollama.com/download

2. Python 3 環境を作成し、その依存関係をインストールします。

   python3 -m venv venv
   source venv/bin/activate
   pip install -r requirements.txt

3. Golang アプリケーションを実行します。

   go run cmd/ * 

追加メモ

• さらに背景ビデオを追加するには、それをリソース/ビデオ フォルダー内に置きます。ビデオはランダムに選択されるため、必要に応じてコードを変更してください。
• Docker がシステム上で適切に構成され、実行されていることを確認してください。
• 要件に応じて、Dockerfile または docker-compose.yml ファイル内の必要な構成を調整します。
• 運用環境で使用する場合は、適切なセキュリティ対策とスケーラビリティに関する考慮事項が実装されていることを確認してください。
• オラマのモデルを自由に変更してください。 https://ollama.com/library から 1 つ選択します。このプロジェクトでは orca-mini を使用しています

ニーズに応じてプロジェクトを自由に調べて変更してください。問題が発生した場合、または改善のための提案がある場合は、遠慮なく問題をオープンするか、プル リクエストを送信してください。