ai worker
v0.12.1
警告
AI ネットワークはベータ段階にあり、運用の準備は整っていますが、まだ開発中です。発生した問題は Livepeer Discord に報告してください。
このリポジトリは、Livepeer AI サブネット上で推論リクエストを処理するための AI ワーカーとランナーをホストします。
AI ワーカー リポジトリには次のものが含まれます。
ランナー: コンテナ化された Python アプリケーションである AI ランナーは、Livepeer AI のパイプラインとモデルで推論リクエストを処理し、モデル対話用の REST API を提供します。
ワーカー: AI ワーカーにより、go-livepeer の ai-video ブランチが AI ランナーと対話できるようになります。これには、golang API バインディング、推論リクエストをルーティングするためのワーカー、AI ランナー コンテナー用の Docker マネージャーが含まれています。
AI ランナーのコードはランナー ディレクトリにあります。詳細については、AI ランナーの README を参照してください。
AI ワーカーのコードはワーカー ディレクトリにあります。これには次のものが含まれます。
Golang API バインディング: make codegenを使用して AI ランナーの OpenAPI 仕様から生成されます。
Worker : Livepeer AI サブネットからの推論リクエストをリッスンし、AI ランナーにルーティングします。
Docker Manager : AI ランナー コンテナを管理します。
AI ワーカーとランナーは、go-livepeer の ai-video ブランチと連携するように設計されています。テストのために両方を独立して実行できます。 AI ワーカーをローカルで構築してサンプルを実行するには、次の手順に従います。
ランナー ディレクトリにある README の指示に従って、モデル チェックポイントをダウンロードし、ランナー イメージを構築します。
make codegenを使用して、ランナー OpenAPI 仕様の Go バインディングを生成します。
cmd/examplesディレクトリ内のサンプルを実行します。たとえば、 go run cmd/examples/text-to-image/main.go <RUNS> <PROMPT>ます。
AI ランナーの開発とデバッグの詳細については、開発ドキュメントを参照してください。
