ai worker
v0.12.1
Avertissement
Le réseau d'IA est en phase bêta et bien qu'il soit prêt pour la production, il est encore en développement. Veuillez signaler tout problème que vous rencontrez au Livepeer Discord.
Ce référentiel héberge le travailleur et l'exécuteur AI pour traiter les demandes d'inférence sur le sous-réseau Livepeer AI.
Le référentiel de travailleurs AI comprend :
Runner : AI runner, une application Python conteneurisée, traite les requêtes d'inférence sur les pipelines et les modèles de Livepeer AI, fournissant une API REST pour l'interaction des modèles.
Worker : Le travailleur AI permet à la branche ai-video de go-livepeer d'interagir avec le runner AI. Il comprend des liaisons d'API Golang, un travailleur pour le routage des demandes d'inférence et un gestionnaire Docker pour les conteneurs AI runner.
Le code du coureur AI se trouve dans le répertoire du coureur. Pour plus de détails, consultez le fichier README de AI Runner.
Le code du travailleur AI se trouve dans le répertoire des travailleurs. Il comprend :
Liaisons API Golang : générées à partir de la spécification OpenAPI du coureur AI à l'aide de make codegen .
Worker : écoute les demandes d'inférence du sous-réseau Livepeer AI et les achemine vers le programme d'exécution AI.
Docker Manager : gère les conteneurs AI runner.
Le travailleur et le coureur IA sont conçus pour fonctionner avec la branche ai-video de go-livepeer. Vous pouvez exécuter les deux indépendamment à des fins de test. Pour créer le travailleur AI localement et exécuter des exemples, procédez comme suit :
Suivez les instructions README dans le répertoire du coureur pour télécharger les points de contrôle du modèle et créer l'image du coureur.
Générez des liaisons Go pour la spécification OpenAPI du coureur avec make codegen .
Exécutez tous les exemples dans le répertoire cmd/examples , par exemple, go run cmd/examples/text-to-image/main.go <RUNS> <PROMPT> .
Pour en savoir plus sur le développement et le débogage de l'AI Runner, consultez la documentation de développement.
