ai worker
v0.12.1
Aviso
A rede AI está em fase Beta e embora esteja pronta para produção ainda está em desenvolvimento. Por favor, relate quaisquer problemas que você encontrar no Livepeer Discord.
Este repositório hospeda o trabalhador e executor de IA para processar solicitações de inferência na sub-rede Livepeer AI.
O repositório de trabalhadores de IA inclui:
Runner : O AI runner, um aplicativo Python em contêiner, processa solicitações de inferência em pipelines e modelos do Livepeer AI, fornecendo uma API REST para interação do modelo.
Trabalhador : O trabalhador de IA permite que o ramo de vídeo AI do go-livepeer interaja com o executor de IA. Inclui ligações de API golang, um trabalhador para rotear solicitações de inferência e um gerenciador Docker para contêineres de executores de IA.
O código do executor AI está no diretório do executor. Para obter mais detalhes, consulte o README do AI runner.
O código do trabalhador de IA está no diretório do trabalhador. Inclui:
Ligações de API Golang : geradas a partir da especificação OpenAPI do executor de IA usando make codegen .
Trabalhador : escuta solicitações de inferência da sub-rede Livepeer AI e as encaminha para o executor AI.
Docker Manager : gerencia contêineres de executores de IA.
O trabalhador e o executor de IA são projetados para trabalhar com o ramo de vídeo de IA do go-livepeer. Você pode executar ambos de forma independente para teste. Para construir o trabalhador de IA localmente e executar exemplos, siga estas etapas:
Siga as instruções README no diretório do executor para fazer download dos pontos de verificação do modelo e construir a imagem do executor.
Gere ligações Go para a especificação OpenAPI do executor com make codegen .
Execute quaisquer exemplos no diretório cmd/examples , por exemplo, go run cmd/examples/text-to-image/main.go <RUNS> <PROMPT> .
Para obter mais informações sobre como desenvolver e depurar o executor de IA, consulte a documentação de desenvolvimento.
