ai worker
v0.12.1
Advertencia
La red de IA se encuentra en su fase Beta y, aunque está lista para la producción, todavía está en desarrollo. Informe cualquier problema que encuentre a Livepeer Discord.
Este repositorio aloja al trabajador y al corredor de IA para procesar solicitudes de inferencia en la subred de IA de Livepeer.
El repositorio de trabajadores de IA incluye:
Runner : el AI runner, una aplicación Python en contenedores, procesa solicitudes de inferencia en los modelos y canalizaciones de Livepeer AI, proporcionando una API REST para la interacción del modelo.
Trabajador : el trabajador de IA permite que la rama de video ai de go-livepeer interactúe con el corredor de IA. Incluye enlaces de API de golang, un trabajador para enrutar solicitudes de inferencia y un administrador de Docker para contenedores de corredores de IA.
El código del corredor AI está en el directorio del corredor. Para obtener más detalles, consulte el archivo README del corredor de IA.
El código del trabajador de IA está en el directorio de trabajadores. Incluye:
Enlaces de API de Golang : generados a partir de la especificación OpenAPI del corredor de IA usando make codegen .
Trabajador : escucha las solicitudes de inferencia de la subred de Livepeer AI y las enruta al corredor de AI.
Docker Manager : gestiona contenedores de corredores de IA.
El trabajador y el corredor de IA están diseñados para funcionar con la rama de video de IA de go-livepeer. Puede ejecutar ambos de forma independiente para realizar pruebas. Para crear el trabajador de IA localmente y ejecutar ejemplos, siga estos pasos:
Siga las instrucciones README en el directorio del corredor para descargar los puntos de control del modelo y crear la imagen del corredor.
Genere enlaces Go para la especificación OpenAPI del ejecutor con make codegen .
Ejecute cualquier ejemplo en el directorio cmd/examples , por ejemplo, go run cmd/examples/text-to-image/main.go <RUNS> <PROMPT> .
Para obtener más información sobre el desarrollo y la depuración del AI runner, consulte la documentación de desarrollo.
