ai worker
v0.12.1
Warnung
Das KI-Netzwerk befindet sich in der Beta- Phase und ist zwar produktionsbereit, befindet sich aber noch in der Entwicklung. Bitte melden Sie alle Probleme, auf die Sie stoßen, dem Livepeer Discord.
Dieses Repository hostet den AI-Worker und -Runner für die Verarbeitung von Inferenzanfragen im Livepeer AI-Subnetz.
Das AI-Worker-Repository umfasst:
Runner : Der AI Runner, eine containerisierte Python-Anwendung, verarbeitet Inferenzanfragen an die Pipelines und Modelle von Livepeer AI und stellt eine REST-API für die Modellinteraktion bereit.
Worker : Der AI-Worker ermöglicht dem AI-Video-Zweig von Go-Livepeer die Interaktion mit dem AI-Runner. Es umfasst Golang-API-Bindungen, einen Worker zum Weiterleiten von Inferenzanfragen und einen Docker-Manager für AI-Runner-Container.
Der Code des AI-Läufers befindet sich im Läuferverzeichnis. Weitere Informationen finden Sie in der AI-Runner-README-Datei.
Der Code des AI-Workers befindet sich im Worker-Verzeichnis. Es beinhaltet:
Golang-API-Bindungen : Generiert aus der OpenAPI-Spezifikation des AI-Runners mit make codegen .
Worker : Hört auf Inferenzanfragen vom Livepeer-KI-Subnetz und leitet sie an den KI-Läufer weiter.
Docker Manager : Verwaltet AI-Runner-Container.
Der KI-Worker und der KI-Läufer sind für die Zusammenarbeit mit dem AI-Video-Zweig von Go-Livepeer konzipiert. Sie können beide zum Testen unabhängig voneinander ausführen. Führen Sie die folgenden Schritte aus, um den AI-Worker lokal zu erstellen und Beispiele auszuführen:
Befolgen Sie die README-Anweisungen im Runner-Verzeichnis, um Modellprüfpunkte herunterzuladen und das Runner-Image zu erstellen.
Generieren Sie Go-Bindungen für die Runner-OpenAPI-Spezifikation mit make codegen .
Führen Sie alle Beispiele im Verzeichnis cmd/examples aus, z. B. go run cmd/examples/text-to-image/main.go <RUNS> <PROMPT> .
Weitere Informationen zum Entwickeln und Debuggen des AI Runner finden Sie in der Entwicklungsdokumentation.
